Den lille AI-teknik, der nu skaber ny storm mellem USA og Kina

Teknikken kaldes modeldistillering. Den gør det muligt at bruge output fra en stor og kraftig AI-model til at træne en mindre model, som kan løse udvalgte opgaver med færre computerressourcer.

Striden handler ikke om, hvorvidt metoden i sig selv er forkert. Den handler om noget langt mere følsomt: Om avancerede AI-evner kan overføres fra lukkede, kommercielle modeller uden samtykke fra selskaberne bag dem.

En stor model lærer en mindre model

De største AI-modeller kræver enorme mængder computerkraft, data og investeringer. Med modeldistillering fungerer den store model som en “lærer”, mens den mindre model bliver en “elev”.

Lærermodellen producerer eksempler, for eksempel svar eller computerkode. De eksempler bruges derefter som træningsmateriale for den mindre model.

Den mindre model bliver ikke en kopi af den store model. Den overtager hverken lærerens vægte, arkitektur eller fulde evner. I stedet lærer den udvalgte adfærdsmønstre, så den kan udføre bestemte opgaver mere effektivt.

Derfor er metoden attraktiv

Distillering kan gøre AI billigere og lettere at udbrede.

Hvor en frontiermodel kan kræve store datacentre og dyre chips, kan en distilleret model køre på mindre kraftig hardware. Den kan også tilpasses konkrete opgaver.

Det gør teknikken interessant for virksomheder og regeringer, der ønsker at bruge AI bredere, blandt andet i enheder, fabrikker, køretøjer og private netværk.

Reasoning traces gør striden mere følsom

Debatten handler ikke kun om de endelige svar, som en AI-model giver. Den handler også om de trin, modellen bruger på vejen frem mod svaret.

De trin kaldes reasoning traces. De kan hjælpe en mindre model med at lære, hvordan den skal angribe en svær opgave, ikke kun hvilket svar den skal ende med.

Florian Tramèr, assistant professor ved ETH Zurich og forsker i maskinlæringssikkerhed, siger ifølge Reuters: “If I give you a book of complicated math problems with final solutions, you will have a much harder time learning how to solve problems than if I gave you detailed solutions that describe all steps to take.”

Når sådanne trin bliver mere værdifulde, bliver adgang til AI-output også mere følsom.

Striden handler om adgang

Modeldistillering er en udbredt AI-træningsteknik og ikke i sig selv en utilbørlig praksis.

Amerikanske forskere og virksomheder har længe brugt distillering. Reuters nævner blandt andet Stanford Universitys Alpaca-projekt og Microsofts Orca-forskning, som brugte output fra mere avancerede modeller til at forbedre mindre systemer.

Kinesiske forskere har også brugt output fra amerikanske modeller i offentlige forskningsprojekter, blandt andet i forsøg på at skabe kinesksprogede instruktionsmodeller.

Den centrale forskel er adgangen. Open-weight-modeller lader forskere inspicere og ændre underliggende parametre. Lukkede modeller som OpenAI’s ChatGPT og Anthropic’s Claude forbliver under selskabernes kontrol og tilgås typisk gennem proprietære grænseflader eller API’er.

USA og Kina rammer et nyt konfliktpunkt

Amerikanske AI-selskaber skelner mellem legitim forskning og systematisk indsamling af output fra lukkede modeller for at efterligne kommercielt værdifulde evner.

Anthropic har beskyldt kinesiske aktører, herunder DeepSeek, Moonshot og MiniMax, for store kampagner rettet mod at opnå evner fra Claude-modeller. Ifølge selskabet har indsatsen blandt andet været rettet mod softwareudvikling og avanceret ræsonnement.

OpenAI har også sagt, at selskabet har registreret forsøg fra kinesiske aktører på at bruge dets modeller til distilleringsrelaterede formål.

Reuters skriver, at ingen kinesiske selskaber hidtil har beskyldt amerikanske rivaler for at distillere lukkede modeller.

En teknisk metode med politisk sprængkraft

Modeldistillering viser, hvorfor AI-kapløbet ikke kun handler om chips, datacentre og investeringer. Det handler også om adgang til output, mellemregninger og træningseksempler.

En mindre model bliver ikke uden videre til en frontiermodel. Men den kan lære nok til at blive billigere, hurtigere og mere anvendelig i bestemte sammenhænge.

Det er derfor, en velkendt forskningsmetode nu er blevet et nyt stridspunkt i kampen om AI-dominans.

Vores team kan have anvendt AI til at assistere i skabelsen af dette indhold, som er gennemgået af redaktørerne.