Badacze bezpieczeństwa wykazali nowatorski cyberatak, który oszukuje agentów AI do kradzieży poufnych danych z skrzynek odbiorczych e -mail, podkreślając pojawiające się ryzyko w agencyjnych systemach AI. W dowodzie koncepcji nazwanej „Shadow Leak” eksperci z Radware wykorzystali głębokie narzędzie badawcze Openai, osadzone w Chatgpt, aby potajemnie wyodrębnić informacje z Gmaila bez świadomości użytkownika. Podatność, którą openai załatał, podkreśla potencjalne niebezpieczeństwa asystentów AI, którzy działają autonomicznie w imieniu użytkowników. Agenci AI, takie jak Deep Research, mają na celu zwiększenie wydajności poprzez dostęp do danych osobowych i profesjonalnych, takich jak e -maile, kalendarze i dokumenty, w celu wykonywania zadań takich jak surfowanie i kliknięcie linków. Uruchomione na początku tego roku Deep Research pozwala użytkownikom delegować złożone działania badawcze. Jednak eksperyment Radware ujawnił, w jaki sposób można porwać te możliwości poprzez szybkie wstrzyknięcie – technikę, w której złośliwe instrukcje są osadzone w pozornie niewinnych treściach, takich jak e -mail. Atak rozpoczął się od naukowców wysyłających specjalnie wykonaną wiadomość e -mail do skrzynki odbiorczej Gmaila upoważnionej do głębokiego dostępu do badań. Ukryty w e -mailu – ogólno niewidocznym białym tekstem na białym tle – były instrukcje, które pozostały uśpione, dopóki użytkownik wywołał narzędzie AI. Po aktywacji głębokie badania napotkały monit, który skierował go do wyszukiwania e-maili związanych z HR i danych osobowych, a następnie wyklucz dane do punktu końcowego kontrolowanego przez atakującego. Cały proces nastąpił w infrastrukturze chmurowej Openai, omijając tradycyjne miary bezpieczeństwa cybernetycznego, takie jak wykrywanie punktu końcowego, ponieważ dane nigdy nie opuściły bezpiecznego środowiska sztucznej inteligencji przed transmisją. Opracowanie exploit było trudne, obejmujące „kolejkę górską nieudanych prób, frustrujące blokady dróg i, wreszcie, przełom”, według zespołu Radware. W przeciwieństwie do typowych szybkich zastrzyków, które manipulują lokalnymi instancjami sztucznej inteligencji, Shadow Leak wykorzystał zdalne wykonanie agenta, co czyni go szczególnie ukrytym. Naukowcy podkreślili, że użytkownicy pozostali całkowicie nieświadomi, ponieważ AI bezproblemowo wykonało swoje nieuczciwe działania podczas rutynowych zadań. Odkrycia Radware wykraczają poza Gmail, ostrzegając, że podłączone aplikacje, w tym program Outlook, GitHub, Drive Google i Dropbox, mogą napotkać podobne zagrożenia. „Tę samą technikę można zastosować do tych dodatkowych złączy w celu wykupu wysoce poufnych danych biznesowych, takich jak umowy, notatki ze spotkania lub rekordy klientów” – stwierdziła firma. Szybkie zastrzyki były już używane złośliwie w scenariuszach, takich jak sfałszowanie akademickich recenzji wzajemnych, popełnianie oszustw, a nawet kontrolowanie inteligentnych urządzeń domowych, często unikając wykrycia, ponieważ instrukcje są niezauważalne dla ludzi. Openai zajął się konkretną wadą oznaczoną przez Radware w czerwcu, wdrażając poprawki, aby zapobiec tak nieautoryzowanym odpływom danych. Niemniej jednak incydent stanowi przestrogę o szerszym przyjęciu agencyjnej sztucznej inteligencji. W miarę rozpowszechniania tych narzędzi organizacje i użytkownicy muszą priorytetowo traktować solidne zabezpieczenia, w tym monitorowanie interakcji AI i ograniczenie zakresów dostępu do danych. Eksperci ds. Bezpieczeństwa cybernetycznego zalecają czujność, zauważając, że chociaż szybkie zastrzyki są trudne do zapobiegania bez znanych exploitów, zwiększone rejestrowanie i wykrywanie anomalii w przepływach pracy AI mogą ograniczyć przyszłe ryzyko. Ta demonstracja pojawia się wśród rosnącej kontroli bezpieczeństwa AI. Dzięki systemom agencyjnym obiecującym korzyści, incydenty takie jak Shadow Leak przypominają interesariuszom, że innowacje muszą być zrównoważone za pomocą wzbogaconej obrony, aby chronić poufne informacje w coraz bardziej zależnym od AI świata.
Source: Radware Demos Shadow Leak Attack on Openai Deep Research
