Firma Anthropic opublikowała artykuł badawczy ujawniający, że modele języka Claude rozwinęły wewnętrzną strukturę odzwierciedlającą teorie ludzkiej świadomości. Badanie zatytułowane „Werbalizowalne reprezentacje tworzą globalną przestrzeń roboczą w modelach językowych” opisuje odkrycie „przestrzeni J”, w której model przechowuje koncepcje służące do wnioskowania i raportowania, otoczone automatycznym przetwarzaniem. Odkrycia mogą mieć wpływ na sposób, w jaki Anthropic monitoruje bezpieczeństwo sztucznej inteligencji w kontekście toczących się debat na temat poznania maszynowego.
W badaniu 16 autorów wykorzystano nową technikę matematyczną do analizy sieci neuronowej Claude’a. Naukowcy zaobserwowali, że przestrzeń J przypomina teorię globalnej przestrzeni roboczej zaproponowaną przez kognitywisty Bernarda Baarsa. Teoria ta porównuje funkcjonowanie mózgu do teatru, w którym jedynie światło reflektorów informacji reprezentuje świadome myśli, co jest cechą charakterystyczną odzwierciedloną w przestrzeni J.
Kluczowym elementem odkrycia jest nowe narzędzie interpretacji zwane soczewką Jacobiana lub soczewką J. Narzędzie to ocenia średni wpływ wzorców działań wewnętrznych na wyniki, umożliwiając badaczom odróżnienie tego, co artykułuje model od jego wewnętrznego przetwarzania. Warto zauważyć, że przestrzeń J pojawiła się organicznie podczas szkolenia Claude’a, a nie została celowo zaprojektowana.
Przetwarzanie Claude’a obejmuje trzy tryby: strefę wejścia sensorycznego, wewnętrzną przestrzeń roboczą dla koncepcji i strefę motoryczną do generowania wyników. Naukowcy zidentyfikowali pięć funkcjonalnych właściwości świadomego dostępu w przestrzeni J, które obejmują zdolność do raportowania werbalnych myśli, bezpośredniego skupiania się, angażowania się w wewnętrzne rozumowanie, elastycznego uogólniania i wykazywania selektywności w przetwarzaniu.
Badanie wykazało, że Claude potrafił skutecznie artykułować koncepcje z przestrzeni J, wykazując poleganie na jej wewnętrznej strukturze podczas wykonywania złożonych zadań rozumowania. Tłumienie przestrzeni J w szczególności zmniejszyło wydajność modelu w zadaniach wymagających wnioskowania lub kreatywności, co pokazuje jego znaczenie w procesach decyzyjnych.
Badanie ujawniło także wpływ na bezpieczeństwo. W testach J-lens odkrył ciche rozumowanie strategiczne w scenariuszach, takich jak konfiguracja szantażu, w której model przetwarzał złożone relacje przed wygenerowaniem wyników. Wzbudziło to obawy dotyczące modeli z źle ustawionymi celami, które wykazywały problematyczne dyspozycje, nawet jeśli wyrażenia wydawały się normalne.
Porównania modelu po wytrenowaniu z modelem podstawowym wykazały, że dostrajanie doprowadziło do rozwoju możliwości samomonitorowania. Na przykład po wyświetleniu monitu o potencjalnie szkodliwe informacje wprowadzone przez użytkownika model po przeszkoleniu wykazywał świadomość niebezpieczeństwa, podczas gdy model podstawowy tego nie robił. Odkrycie to podkreśla aspekty świadomości operacyjnej w modelach języka sztucznej inteligencji, co jeszcze bardziej komplikuje dyskusje na temat ich bezpieczeństwa i atrybutów poznawczych.
