Roblox zaprezentował Sentinel, system sztucznej inteligencji, zaprojektowany w celu wykrycia wczesnych oznak potencjalnego wykorzystania dzieci na czatach online, co nastąpi wśród rosnących wyzwań kontroli i prawnych dotyczących protokołów bezpieczeństwa platformy. Ogłoszony 8 sierpnia 2025 r. Sentinel jest otwarty i udostępniony swobodnie, umożliwiając innym platformom zintegrowanie go z własnymi ramami moderacji.
Firma, która oferuje ponad 111 milionów aktywnych użytkowników miesięcznie, poinformowała, że Sentinel już pomógł w oznaczeniu setek potencjalnych przypadków eksploatacji dzieci w organach ścigania. Matt Kaufman, dyrektor ds. Bezpieczeństwa Robloxa, podkreślił ograniczenia poprzednich systemów filtrowania, które koncentrowały się przede wszystkim na izolowanych słowach lub frazach. Wyjaśnił, że kwestie takie jak zagrożenie dla dzieci i pielęgnacja często objawiają się poprzez przedłużone wzorce interakcji. „Ale kiedy myślisz o rzeczach związanych z zagrożeniem dziecka lub pielęgnacją, rodzaje zachowań, na które patrzysz przez bardzo długi okres” – stwierdził Kaufman.
Sentinel jest zaprojektowany w celu zidentyfikowania tych ewoluujących wzorców w rozmowach, a nie tylko izolowanych terminach. System przetwarza jednominutowe migawki około 6 miliardów wiadomości czatu wymienianych codziennie na platformie, oceniając je w szerszym kontekście. Aby to ułatwić, inżynierowie opracowali dwa odrębne indeksy: jeden składający się z przykładów nieszkodliwych czatów, a drugie zawierające wiadomości, które naruszyły wytyczne dotyczące bezpieczeństwa dzieci. Naren Koneru, wiceprezes ds. Inżynierii ds. Trustu i bezpieczeństwa w Roblox, zauważył, że oba indeksy są stale aktualizowane o nowe materiały w celu zwiększenia dokładności modelu AI. „Ten indeks staje się coraz lepszy, gdy wykryjemy więcej złych aktorów, po prostu stale aktualizujemy ten indeks”, powiedział Koneru, dodając: „Wtedy mamy kolejną próbkę, co robi normalny, zwykły użytkownik?”
Koneru dalej opracował, że Sentinel monitoruje bieżącą działalność użytkownika w celu rozpoznania, czy jego zachowanie jest popularne w kierunku bezpiecznych interakcji lub ryzykownego postępowania. „Nie zdarza się to w jednej wiadomości, ponieważ po prostu wysyłasz jedną wiadomość, ale dzieje się tak, ponieważ wszystkie twoje dni interakcje prowadzą do jednego z tych dwóch” – wyjaśniła. Jeśli AI flaguje użytkownika do bliższego badania, ludzcy moderatorzy przeprowadzają dokładną recenzję całej historii czatu, listy znajomych i granych gier. W przypadku uzasadnienia Roblox eskaluje te sprawy do organów ścigania i Narodowego Centrum Zaginionego i Wykorzystywanego Dzieci.
Wprowadzenie Sentinel pojawia się, gdy Roblox stoi przed znaczącymi wyzwaniami prawnymi. Pozew złożony w Iowa w zeszłym miesiącu twierdzi, że dorosła drapieżnik skontaktowała się z 13-letnią dziewczynką przez Roblox, a następnie uprowadzono i handluje w kilku stanach. Pozew twierdzi, że projekt platformy firmy stworzył „łatwą ofiarę dla pedofilów”.
Roblox utrzymuje surowe zasady zabraniające udostępniania danych osobowych, zdjęć i filmów na czacie. Ponadto bezpośrednie komunikaty dla użytkowników poniżej 13 roku życia są ograniczone, chyba że udzielono wyraźnej zgody rodziców. Możliwości monitorowania firmy są wspomagane faktem, że czaty nie są szyfrowane przez koniec do końca, umożliwiając nadzór nad rozmowami w sprawie naruszeń bezpieczeństwa. Uznając, że żaden system nie może zapewnić całkowitej ochrony, Roblox twierdzi, że postęp AI, taki jak Sentinel, znacznie zwiększają szanse na wczesne wykrycie szkodliwych zachowań.
