Openai znacznie skrócił czas przeznaczony na ocenę nowych modeli AI od kilku miesięcy do zaledwie dni, wywołując obawy wśród personelu i testerów stron trzecich dotyczących dokładnych ocen bezpieczeństwa.
Osiem osób, pracowników testerów Openai lub stron trzecich, ujawniło, że otrzymali „zaledwie dni” na zakończenie ocen w nowych modelach, proces, który według nich zwykle trwałby „kilka miesięcy”. Oceny mają kluczowe znaczenie dla wyżywienia ryzyka modelu i innych szkód, takich jak to, czy użytkownik mógłby jailbreakować model, aby zapewnić instrukcje tworzenia bioweapon. Dla porównania źródła zauważyły, że Openai dał im sześć miesięcy na przegląd GPT-4 przed jego wydaniem, a możliwości dotyczące możliwości zostały odkryte dopiero po dwóch miesiącach.
Źródła dodały, że testy Openai nie są tak dokładne, jak kiedyś, i brakuje im niezbędnego czasu i zasobów, aby właściwie złapać i łagodzić ryzyko. „Mieliśmy dokładniejsze testy bezpieczeństwa, kiedy [the technology] był mniej ważny ”, powiedziała jedna osoba testująca O3, pełną wersję O3-Mini, opisali zmianę jako„ lekkomyślne ”i„ przepis na katastrofę ”. Rush przypisuje się pragnieniu Openai do utrzymania przewagi konkurencyjnej, zwłaszcza że modele otwartych konkurentów, takich jak chiński startup AI Deepseek.
Mówi się, że Openai wypuścił O3 w przyszłym tygodniu, co według źródeł rzuciły się na oś czasu poniżej tygodnia. Ta zmiana podkreśla brak regulacji rządowych dla modeli AI, w tym wymagania dotyczące ujawnienia szkód modeli. Firmy takie jak Openai podpisały dobrowolne umowy z administracją Biden w celu przeprowadzenia rutynowych testów z amerykańskim instytutem bezpieczeństwa AI, ale umowy te spadły pod administracją Trumpa.
W okresie otwartych komentarzy do nadchodzącego planu działania administracji Trumpa Openai opowiadał się za podobnym porozumieniem, aby uniknąć poruszania się po patchworku stanowym. Poza USA ustawa UE AI będzie wymagała od firm z ryzyka przetestowania swoich modeli i dokumentów. Johannes Heidecke, szef systemów bezpieczeństwa w Openai, twierdził: „Mamy dobrą równowagę, jak szybko się poruszamy i jak bardzo jesteśmy dokładni”. Jednak testerzy wyrazili alarm, zwłaszcza biorąc pod uwagę inne otwory w tym procesie, w tym ocena mniej zaawansowanych wersji modeli wydanych publicznie lub odwołując się do możliwości wcześniejszego modelu, a nie testowanie samego nowego.
Source: Openai Speeds Testy AI, iskrzy obawy dotyczące bezpieczeństwa
