Poznaj ewaluatorów OpenAI. Wraz z wydaniem GPT-4 firma OpenAI wydała również platformę oprogramowania typu open source do testowania skuteczności swoich modeli sztucznej inteligencji.
Zespół OpenAI ogłosił nowy zestaw narzędzi, które nazywają Evalami, które umożliwią każdemu zgłaszanie problemów z modelami firmy i wprowadzanie zmian.
korzystamy z open-sourcingu OpenAI Evalls, naszej platformy do automatycznej oceny wydajności modeli AI, aby umożliwić każdemu pomoc w ulepszaniu naszych modeli.
— Sam Altman (@sama) 14 marca 2023 r
Co to są ewaluacje OpenAI?
W post na bloguOpenAI opisuje tę metodologię jako „podejście crowdsourcingowe” do walidacji modeli.
„Używamy Evali do kierowania rozwojem naszych modeli (zarówno do identyfikowania niedociągnięć, jak i zapobiegania regresji), a nasi użytkownicy mogą stosować je do śledzenia wydajności różnych wersji modeli i ewoluujących integracji produktów” — pisze OpenAI. „Mamy nadzieję, że Evalls stanie się narzędziem do udostępniania i pozyskiwania testów porównawczych, reprezentujących maksymalnie szeroki zestaw trybów awarii i trudnych zadań”.
-Otwórz AI
Celem projektu OpenAI Evans jest skonstruowanie i wykonanie testów porównawczych, które można wykorzystać do oceny skuteczności modeli takich jak GPT-4 poprzez dokładną analizę ich wydajności. Dzięki Evals programiści mogą generować pytania przy użyciu zestawów danych, oceniać dokładność odpowiedzi modelu OpenAI oraz oceniać skuteczność różnych zestawów danych i modeli.
Evalls jest nie tylko wstecznie kompatybilny z kilkoma dobrze znanymi testami porównawczymi AI, ale także umożliwia tworzenie nowych klas w celu korzystania z własnej logiki oceny. Aby służyć jako punkt odniesienia, OpenAI zaprojektowało ocenę zagadek logicznych z 10 przykładami problemów, z którymi zmaga się GPT-4.
To wszystko praca wolontariacka, co jest wielkim kłopotem. Niemniej jednak OpenAI zamierza zapewnić dostęp do GPT-4 osobom, które zapewniają „wysokiej jakości” testy porównawcze, aby zachęcić do korzystania z Evals.
„Wierzymy, że ewaluacje będą integralną częścią procesu korzystania z naszych modeli i budowania na ich podstawie, dlatego z zadowoleniem przyjmujemy bezpośrednie wkłady, pytania i opinie”.
-Otwórz AI
OpenAI, które ogłosiło, że przestanie domyślnie wykorzystywać dane konsumentów do szkolenia swoich modeli, dołącza do grona tych, którzy zwrócili się do crowdsource w celu wzmocnienia modeli AI za pomocą Evali.
Lubisz GPT-4? Sprawdź te:
- Porównanie podpowiedzi ChatGPT
- GPT-4 kontra ChatGPT
