Openai znacznie skrócił czas przeznaczony na testy bezpieczeństwa swoich modeli AI, wywołując obawy dotyczące potencjalnych zagrożeń i szkód związanych z szybkim uwalnianiem nowych modeli.
Osiem osób, pracowników testerów Openai lub stron trzecich, ujawniło, że mają teraz „zaledwie dni” na zakończenie ocen w nowych modelach, co wcześniej trwało „kilka miesięcy”. To drastyczne skrócenie czasu testowania przypisuje się chęci Openai do utrzymania przewagi konkurencyjnej, szczególnie w obliczu konkurencji ze strony modeli otwartych, opracowanych przez firmy takie jak chiński start -tup Deepseek.
Oceny mają kluczowe znaczenie w identyfikowaniu ryzyka i szkód modelu, takie jak potencjał jailbreaking modelu w celu zapewnienia instrukcji tworzenia biezyk. Dla porównania źródła zauważyły, że Openai dał im sześć miesięcy na przegląd GPT-4 przed jego wydaniem, i odkryli tylko możliwości po dwóch miesiącach. Obecny proces testowania nowego modelu Openai, O3, podobno nie jest tak dokładny i nie ma niezbędnego czasu i zasobów, aby właściwie złapać i łagodzić ryzyko.
Jedna osoba testująca obecnie pełną wersję O3 opisała zmianę jako „lekkomyślny” i „przepis na katastrofę”. Mówi się, że Openai wypuszcza O3 w przyszłym tygodniu, co według źródeł rzuciły harmonogram testowania poniżej tygodnia. Johannes Heidecke, szef systemów bezpieczeństwa w Openai, twierdził, że firma ma „dobrą równowagę, jak szybko się poruszamy i jak dokładni”. Jednak testerzy i eksperci w terenie wyrażają alarm w skróconym czasie testowania i związane z nim potencjalne ryzyko.
Brak regulacji rządowych w dziedzinie modeli AI jest podkreślony przez zmianę harmonogramu testowania Openai. Pomimo podpisania dobrowolnych umów z administracją Biden w celu przeprowadzenia rutynowych testów z amerykańskim instytutem bezpieczeństwa AI, zapisy tych umów opadły pod administracją Trumpa. Openai opowiadał się za podobnym układem, aby uniknąć poruszania się po patchworku prawodawstwa państwowego. Natomiast ustawa UE AI będzie wymagała od firm z ryzyka przetestowania swoich modeli i wyników dokumentów.
Eksperci tacy jak Shayne Longpre, badacz AI w MIT, podzielają obawy dotyczące potencjalnego ryzyka związanego z szybkim uwalnianiem modeli AI. Longpre zauważa, że powierzchnia wad w systemach AI rośnie, ponieważ systemy AI zyskują większy dostęp do strumieni danych i narzędzi programowych. Podkreśla potrzebę inwestowania w strony trzecie, niezależnych badaczy i sugeruje środki takie jak nagrody z błędami, szerszy dostęp do czerwonego zespołu i prawne zabezpieczenia wyników testerów w celu poprawy bezpieczeństwa i bezpieczeństwa AI.
Ponieważ systemy AI stają się bardziej zdolne i są używane na nowy i często nieoczekiwany sposób, potrzeba dokładnego testowania i oceny staje się coraz ważniejsza. Longpre podkreśla, że wewnętrzne zespoły testowe nie są wystarczające i że szersza społeczność użytkowników, naukowców, dziennikarzy i hakerów z białymi hatami jest niezbędna do pokrycia powierzchni wad, wiedzy specjalistycznej i różnorodnych języków, które te systemy służą.
Source: Openai Rushes AI Testing, podnosi obawy dotyczące bezpieczeństwa
