ChatGPT 4.0 OpenAI odpowiedział poprawnie na 85% pytań na egzaminie z neurologii klinicznej, przekraczając średni wynik ludzki wynoszący 73,8%. To osiągnięcie w badaniu weryfikującym koncepcję wskazuje na potencjał sztucznej inteligencji w neurologii klinicznej. Badanie przeprowadzone przez naukowców ze Szpitala Uniwersyteckiego w Heidelbergu i Niemieckiego Centrum Badań nad Rakiem obejmowało zarówno ChatGPT 3.5, jak i ChatGPT 4.0.
Porównanie ze starszymi wersjami i wydajnością człowieka
Chociaż ChatGPT 4.0 osiągnął wskaźnik sukcesu na poziomie 85%, ChatGPT 3.5 uzyskał 66,8%. Obie wersje ChatGPT konsekwentnie używały pewnego języka, nawet jeśli był niepoprawny. Odkrycia sugerują, że chociaż ChatGPT może dokładnie odpowiadać na pytania wielokrotnego wyboru, nie jest to równoznaczne ze zdolnością do wykonywania zawodu lekarza klinicznego lub podejmowania decyzji klinicznych.
Wciąż słabsi w myśleniu wyższego rzędu
W badaniu wykorzystano bank pytań Amerykańskiej Rady Psychiatrii i Neurologii (ABPN) oraz Europejskiej Rady Neurologii. Wyniki ChatGPT podkreśliły jego mocne strony w kategoriach behawioralnych, poznawczych i psychologicznych, ale wykazały słabsze wyniki w zadaniach wymagających myślenia wyższego rzędu w porównaniu z zadaniami myślenia niższego rzędu. W badaniu wykorzystano pytania oceniające zarówno podstawowe zrozumienie, jak i umiejętność stosowania, analizowania i oceniania informacji.
Naukowcy: Zachowaj ostrożność
Wyniki na to wskazują duże modele językowe, takie jak ChatGPT po dalszych udoskonaleniach może mieć znaczące zastosowania w neurologii klinicznej. Naukowcy przestrzegają jednak przed nadmiernym poleganiem na tych modelach w przypadku zadań poznawczych wyższego rzędu. Należy również zauważyć, że modele były szkolone na obszernych danych tekstowych, ale nie miały możliwości wyszukiwania w Internecie. Eksperci podkreślają, że każde zastosowanie technologii transformatorowej w warunkach klinicznych lub edukacyjnych wymaga starannej walidacji przez człowieka i sprawdzenia faktów.
