Wykrywanie tekstu generowanego przez AI od dawna stanowi wyzwanie dla badaczy i programistów. Dzięki szybkiemu rozwojowi dużych modeli językowych (LLM), takich jak Gemini Advanced firmy Google i GPT-4o firmy OpenAI, możliwość tworzenia tekstu podobnego do ludzkiego stała się coraz bardziej wyrafinowana.
Jednakże, nowe badanie przeprowadzone przez naukowców z Uniwersytetu w Tybindze i Northwestern University oferują przełom w identyfikowaniu treści tworzonych przez sztuczną inteligencję.
Skupiając się na nagłym wzroście specyficznego słownictwa w pracach naukowych, opracowali metodę wykrywania użycia LLM z zaskakującą dokładnością. Ta technika, zainspirowana badaniami pandemicznymi, które mierzyły nadmierną liczbę zgonów, ujawnia, w jaki sposób zmiany w użyciu słów mogą sygnalizować obecność tekstu generowanego przez AI.
Jakie słowa zdradzają treść dotyczącą sztucznej inteligencji?
Aby zmierzyć te zmiany, zespół corocznie analizował częstotliwość występowania każdego słowa. Porównując oczekiwaną częstotliwość występowania słowa, opartą na trendach sprzed 2023 r., z rzeczywistym użyciem w 2023 i 2024 r., zidentyfikowali drastyczny wzrost niektórych terminów. Na przykład słowo „delves” pojawiło się 25 razy częściej w streszczeniach z 2024 r. niż oczekiwano. Podobnie, „showcasing” i „underscores” odnotowały dziewięciokrotny wzrost użycia.
Oto najczęściej używane słowa w tekstach generowanych przez sztuczną inteligencję i odpowiadające im wskaźniki wzrostu ich użycia:
- Zagłębia się – 25-krotny wzrost
- Prezentowanie – 9-krotny wzrost
- Podkreślenia – 9-krotny wzrost
- Potencjał – wzrost o 4,1 punktu procentowego
- Wyniki – wzrost o 2,7 punktu procentowego
- Kluczowy – wzrost o 2,6 punktów procentowych
- Przez – znaczny wzrost (dokładna stopa nie została określona)
- Dodatkowo – znaczny wzrost (dokładna stopa nie została określona)
- Wyczerpujący – znaczny wzrost (dokładna stopa nie została określona)
- Ulepszanie – znaczny wzrost (dokładna stopa nie została określona)
- Wystawiony – znaczny wzrost (dokładna stopa nie została określona)
- Spostrzeżenia – znaczny wzrost (dokładna stopa nie została określona)
- Szczególnie – znaczny wzrost (dokładna stopa nie została określona)
- W szczególności – znaczny wzrost (dokładna stopa nie została określona)
- W – znaczny wzrost (dokładna stopa nie została określona)
Te słowa stały się wyraźnymi oznakami zaangażowania AI, pojawiając się znacznie częściej niż oczekiwano. Podczas gdy język ewoluuje naturalnie, takie nagłe zmiany są niezwykłe i często wiążą się z ważnymi globalnymi wydarzeniami.
W tym przypadku powszechne stosowanie LLM-ów doprowadziło do zauważalnej zmiany w słownictwie literatury naukowej.
Inspiracja z analizy pandemii
Podejście badaczy w dużej mierze opiera się na technikach stosowanych podczas pandemii COVID-19. Podobnie jak nadmiarowe zgony obliczono poprzez porównanie zaobserwowanych zgonów z danymi historycznymi, w tym badaniu porównano obecne użycie słów z historycznymi trendami w celu zidentyfikowania anomalii. Przeanalizowano ponad 14 milionów streszczeń naukowych opublikowanych w PubMed od 2010 do 2024 r., identyfikując znaczący wzrost liczby niektórych słów od końca 2022 r., co zbiegło się z szerszą adopcją LLM.
Naukowcy zauważyli, że wzrost liczby określonych słów, określanych jako „słowa znacznikowe”, jest wyraźnym wskaźnikiem użycia LLM. Zjawisko to różni się od wcześniejszych zmian słownictwa związanych z wydarzeniami takimi jak pandemia COVID-19, która spowodowała wzrost liczby rzeczowników w języku.
Natomiast w okresie po LLM nastąpił wzrost liczby czasowników, przymiotników i przysłówków. Ta zmiana uwypukla, jak tekst generowany przez AI subtelnie zmienia fakturę i styl pisania.
Identyfikując te słowa-znaczniki, naukowcy szacują, że co najmniej 10% streszczeń naukowych w 2024 r. zostało wygenerowanych lub w znacznym stopniu wspomaganych przez LLM. Szacunek ten jest prawdopodobnie ostrożny, ponieważ nie wszystkie teksty wspomagane przez AI będą zawierać te konkretne znaczniki. Niemniej jednak obecność tych słów zapewnia wiarygodną metrykę wykrywania wpływu AI w pracach naukowych.
Trendy geograficzne w wykorzystaniu LLM
Badanie ujawniło również różnice geograficzne w przyjmowaniu LLM. Kraje takie jak Chiny, Korea Południowa i Tajwan wykazały wyższą częstotliwość słów znacznikowych w pracach naukowych, co wskazuje, że LLM są szczególnie cenne dla osób, dla których angielski nie jest językiem ojczystym. Narzędzia te pomagają udoskonalać i ulepszać ich teksty, czyniąc je bardziej dopracowanymi i gotowymi do publikacji.
Z drugiej strony rodzimi użytkownicy języka angielskiego mogą być bardziej biegli w rozpoznawaniu i eliminowaniu tych markerów, ukrywając w ten sposób swoje użycie AI. Ta różnica sugeruje, że chociaż LLM są szeroko stosowane na całym świecie, ich wpływ jest bardziej widoczny w regionach, w których angielski nie jest językiem podstawowym.
Źródło wyróżnionego obrazu: Freepik