W eksperymencie przeprowadzonym przez rząd Australii porównano sztuczną inteligencję (AI) z inteligencją ludzką przy podsumowywaniu złożonych dokumentów. Ludzie okazali się skuteczniejsi pod każdym względem.
Przeprowadzane przez australijski organ regulacyjny ds. korporacji, Komisja Papierów Wartościowych i Inwestycji (ASIC), badanie miało na celu ocenę wydajności sztucznej inteligencji w zadaniach, które zazwyczaj wymagają skrupulatnej analizy i skupienia. Na podstawie wyników, AI może powodować więcej pracy zamiast jej zmniejszać.
Sztuczna inteligencja nie dorównuje recenzentom-ludziom
Na początku tego roku Amazon testował różne modele sztucznej inteligencji od różnych producentów, pomagając australijskiemu rządowi w ten eksperyment. Ostatecznie wybrano Llama2-70B firmy Meta do wykonania tego zadania. AI miała za zadanie podsumowanie pięciu wniosków z dochodzenia parlamentarnego, skupiając się na wzmiankach o ASIC, zaleceniach, odniesieniach do regulacji i innych kluczowych szczegółach. Jednocześnie dziesięciu osobom o różnym stażu pracy – pracownikom ASIC – powierzono to samo zadanie. Ta grupa recenzentów, która nie była świadoma zaangażowania AI, oceniła podsumowania pod kątem spójności, długości, trafności i dokładności odniesień do regulacji.
Uczestnicy-ludzie zdecydowanie przewyższyli sztuczną inteligencję, uzyskując imponujący wynik 81% w rubryce oceny, w porównaniu do 47% dla AI. Ludzie byli wybitni w identyfikowaniu cytowań dokumentów ASIC, co jest zadaniem znanym jako wyzwanie dla AI. Ponadto ludzkie podsumowania były chwalone za zachowanie nacisku, niuansów i kontekstu, podczas gdy AI często pomijała te krytyczne elementy. Recenzenci zauważyli również, że podsumowania AI czasami zawierały nieistotne informacje lub pomijały ważne szczegóły, co czyniło je mniej wiarygodnymi.
Podsumowanie implikacji wydajności sztucznej inteligencji
Wyniki eksperymentu wskazują, że obecna technologia AI może nie być tak wydajna, jak się powszechnie uważa, jeśli chodzi o oszczędzanie czasu. Z drugiej strony, nawyk AI pomijania kluczowych szczegółów i popełniania błędów może skutkować dodatkowymi zadaniami dla ludzi, którzy musieliby weryfikować i edytować materiały utworzone przez AI. Recenzenci obawiali się, że poleganie na AI w zakresie podsumowania może nie być korzystne, ponieważ często nie komunikowała ona głównych punktów dokumentów tak dobrze, jak recenzenci-ludzie.
Chociaż raport wskazał na pewne ograniczenia, takie jak przestarzały model AI, ostatecznie doszedł do wniosku, że ludzkie umiejętności interpretowania i oceniania informacji są nadal lepsze od AI. Badanie podkreśliło znaczenie postrzegania AI jako narzędzia wspomagającego, a nie zastępującego, ludzką pracę w zadaniach wymagających dogłębnego zrozumienia kontekstu i subtelności.
Przejrzystość rządu i sztuczna inteligencja
Wyniki raportu nie były dla nas zaskoczeniem Senator Partii Zielonych David Shoebridgektóry kierował dochodzeniem, które doprowadziło do jego publikacji. Wspomniał, że chociaż AI może pomagać w ocenie zgłoszeń, zawsze powinna być nadzorowana przez ludzi. Eksperyment podkreśla ideę, że obecnie AI jest najbardziej korzystna, gdy wspomaga ludzkie zdolności, a nie przejmuje je.
Proces ten porusza również bardziej ogólne kwestie dotyczące przejrzystości AI, gdy jest ona wykorzystywana w procedurach rządowych. Senator Shoebridge podkreślił znaczenie inicjatywy departamentów rządowych w celu ujawnienia wykorzystania AI, zamiast czekania, aż informacje zostaną ujawnione podczas przesłuchań komisji senackich.
Źródło wyróżnionego obrazu: Furkan Demirkaja / Środek podróży
Source: Ludzki dotyk przyćmił sztuczną inteligencję w rządowym teście