Partner antropijny i badawczy AE Studio opublikował w środę metodę izolowania niebezpiecznej wiedzy w modelach sztucznej inteligencji za pomocą dyskretnych, wymiennych modułów. Technika ta, nazwana modułami pomocniczymi z routingiem gradientowym (GRAM), ma na celu usprawnienie zarządzania ryzykiem podwójnego zastosowania przy jednoczesnym zachowaniu ogólnej wydajności modeli sztucznej inteligencji.
GRAM dodaje małe pomocnicze przedziały neuronowe do standardowej architektury transformatora. Każdy przedział jest poświęcony określonej kategorii wiedzy wrażliwej, takiej jak wirusologia, cyberbezpieczeństwo czy fizyka jądrowa. Usunięcie modułu powoduje, że model zachowuje się tak, jakby nigdy nie był szkolony na tych danych, natomiast aktywacja modułu umożliwia dostęp do zawartej w nim wiedzy.
Naukowcy przeszkolili model zawierający 800 milionów parametrów, korzystając z mieszanki tekstu internetowego, kodu, artykułów naukowych i czterech dziedzin podwójnego zastosowania: wirusologii, cyberbezpieczeństwa, fizyki nuklearnej i kodu specjalistycznego. Dane dotyczące podwójnego zastosowania stanowiły około 0,25% danych szkoleniowych dla każdej domeny. Wyniki wykazały, że usunięcie modułów GRAM było prawie tak samo skuteczne, jak całkowity brak uczenia danych. Model utrzymał ogólną wydajność zbliżoną do wartości bazowej ustalonej przy uwzględnieniu wszystkich danych.
Podejście to okazało się odporne na dostrajanie kontradyktoryjne, różniąc się od metod oduczania się post hoc, które zazwyczaj jedynie tłumią wiedzę, a nie ją eliminują. Badania przeprowadzane są w trudnym okresie dla zarządzania sztuczną inteligencją, ponieważ administracja Trumpa chwilowo nałożyła kontrolę eksportu na modele Claude firmy Anthropic ze względu na obawy dotyczące bezpieczeństwa narodowego związane z potencjalnymi lukami w zabezpieczeniach.
Ograniczenia te zostały zniesione 30 czerwca po współpracy firmy Anthropic z Departamentem Handlu w celu zaradzenia zidentyfikowanym zagrożeniom. GRAM może stanowić środek w kształtowaniu polityki, umożliwiając szczegółową kontrolę dostępu zamiast zabraniać całych modeli lub polegać wyłącznie na barierach behawioralnych.
Naukowcy zauważyli jednak, że ich ustalenia mają charakter wstępny i nie zostały jeszcze wdrożone w modelach produkcyjnych w Anthropic. Postawili pytania dotyczące skalowalności pamięci GRAM do bardziej złożonych modeli oraz potencjalnych trudności w oddzieleniu splątanej wiedzy od bardziej ogólnych możliwości. Badaniami kierowało AE Studio przy udziale Cema Anila i Alexa Clouda z Anthropic.
