Michael Kratsios, doradca naukowy Białego Domu, zarzucił, że chińska firma Moonshot zbudowała swój model Kimi K3, kopiując Fable LLM firmy Anthropic, używając zakazanych chipów na eksport do Chin. Kratsios stwierdził: „Tajna destylacja przemysłowa na dużą skalę, której celem jest kradzież zastrzeżonej amerykańskiej technologii i podważenie amerykańskich badań, jest niedopuszczalna”. W obliczu obaw w sektorze sztucznej inteligencji trwają dyskusje na temat zakazu chińskich modelek z otwartą wagą.
Sekretarz skarbu Scott Bessent poparł Kratsiosa, twierdząc: „Na wielu chińskich modelach znajdujemy znaki wodne naszych dużych modeli językowych w USA, co jest niedopuszczalne”. Charakter tych znaków wodnych pozostaje niejasny, a Departament Skarbu nie odpowiedział na zapytania.
Eksperci wyrazili sceptycyzm co do poglądu, że sama destylacja może wyjaśnić zaawansowane możliwości Kimi K3. Braden Hancock, badacz z Laude Institute, zauważył: „Nie sądzę, że można uzyskać tak mocny model i to tak szybko, po Fable, wykonując wyłącznie destylację”, powołując się na krótki czas, jaki upłynął od premiery Fable 1 lipca. Hancock podkreślił trudność destylacji tak złożonych danych w ciągu dwóch tygodni.
Nathan Lambert z Allen Institute for AI dodał, że skuteczność destylacji wydaje się spadać w miarę jak chińskie modele stają się coraz bardziej wyrafinowane. Zauważył, że obecne metody szkoleniowe w coraz większym stopniu opierają się na uczeniu się przez wzmacnianie, które obejmuje większe i bardziej złożone procesy niż destylacja.
Destylacja zazwyczaj wymaga od laboratorium systematycznego wysyłania zapytań do LLM w celu wygenerowania danych do celów poszkoleniowych. Może to obejmować nadzorowane dostrajanie, gdy model naśladuje możliwości innego modelu. Lambert przestrzegł jednak, że w miarę jak modele stają się coraz bardziej złożone, zalety nadzorowanego dostrajania maleją.
Firma Anthropic oskarżyła wcześniej Moonshot, DeepSeek i MiniMax o destylację ich modeli, twierdząc, że wykryła nietypowe wzorce zapytań wskazujące na ekstrakcję możliwości. Z kolei praktyki destylacji są uznawane w całej branży sztucznej inteligencji, jak zauważył Elon Musk, który zeznał, że SpaceXAI poddało destylacji modele OpenAI, aby stworzyć Grok.
W swoich zarzutach Kratsios twierdził również, że Moonshot nabył w Tajlandii zaawansowane chipy Nvidia i serwery GB300, których eksport do Chin jest zabroniony. Sam Bresnick, pracownik naukowy w Centrum Bezpieczeństwa i Wschodzących Technologii w Georgetown, zwrócił uwagę na istnienie czarnego rynku takich zakazanych chipów.
Bresnick wezwał do wprowadzenia przepisów „znaj swojego klienta” dla centrów danych zaangażowanych w znaczące operacje szkoleniowe. Postęp w sprawie przepisów federalnych zaproponowanych przez Departament Handlu prezydenta Bidena, który miał na celu ustanowienie takich zasad do 2024 r., uległ jednak zahamowaniu.
Eksporterzy zaawansowanych chipów muszą zapewnić ich wykorzystanie do zatwierdzonych celów, jednak egzekwowanie prawa w tym obszarze pozostaje wyzwaniem, jak podkreślono w niedawnym akcie oskarżenia postawionym założycielowi Supermicro w związku z przemytem zaawansowanych chipów do Chin.
