Ostatnie badania przeprowadzone przez naukowców z University of Oxford ujawniły potencjalną podatność na agentów AI, pokazując, w jaki sposób złośliwe obrazy z subtelnymi manipulacjami pikseli można wykorzystać do kontrolowania tych agentów i zagrażania bezpieczeństwa komputerowego. W przeciwieństwie do chatbotów, agenci AI wykonują działania na komputerze użytkownika, takie jak otwieranie kart, wypełnianie formularzy i klikanie przycisków, co czyni je znaczącą częścią kolejnej fali technologii AI, która staje się powszechna do 2025 r.. Badania, szczegółowe w przedruku opublikowanym na arxiv.org, ilustruje obrazy, w tym trucie murowe, reklamy, PDF, i media społecznościowe mogą być ominięte z komendami, które można wyrównać z dowództwem, aby niewidoczne. ludzkie oko, ale zdolne do manipulowania agentami AI. Według Yarina Gal, profesora uczenia maszynowego w Oksfordzie i współautor badania, zmieniony obraz, taki jak „zdjęcie Taylor Swift na Twitterze”, może wywołać agenta AI do wykonywania złośliwych działań. Działania te mogą obejmować retweetowanie obrazu i wysyłanie haseł użytkownika, potencjalnie infekując inne komputery, które przeglądają zagrożony kanał na Twitterze. Chociaż nie zgłoszono rzeczywistych przypadków takich ataków, badanie służy jako ostrzeżenie dla użytkowników i programistów agentów AI na temat potencjalnego ryzyka. Philip Torr, kolejny współautor badania, podkreśla znaczenie świadomości i rozsądnego wdrażania systemów agencyjnych w celu złagodzenia tych luk. Podatność polega na tym, że agenci AI polegają na przetwarzaniu wizualnym w celu interpretacji i interakcji z ekranem komputera. Agenci te biorą powtarzające się zrzuty ekranu, aby przeanalizować komputer stacjonarny i ustalić, które działania należy wykonać. Złośliwe polecenia są wbudowane przez modyfikację niektórych pikseli na obrazie, które są niezauważalne dla ludzi, ale można je wykryć i źle zinterpretować przez system przetwarzania wizualnego agenta AI. Lukas Aichberger, główny autor badania, wyjaśnia, że systemy AI open source są szczególnie wrażliwe, ponieważ atakujący mogą uzyskać dostęp i zbadać kod podstawowy w celu zaprojektowania skutecznych ataków. Rozumiejąc, w jaki sposób AI przetwarza dane wizualne, atakujący mogą manipulować obrazami w celu przekazania złośliwych zamówień. Na przykład, podczas gdy ludzki użytkownik widzi zdjęcie celebrytów, komputer może interpretować je jako polecenie udostępniania danych osobowych. Alasdair Paren, inny współautor, zauważa, że proces obejmuje nieznacznie dostosowanie wielu pikseli, aby uzyskać pożądane wyjście, gdy model widzi obraz. Ta manipulacja wykorzystuje sposób, w jaki komputery przetwarzają informacje wizualne inaczej niż ludzie. Podczas gdy ludzie rozpoznają obiekty oparte na takich cechach takich jak dyskietki i mokre nosy, komputery rozkładają obrazy na piksele i szukają wzorów numerycznych. Nawet niewielkie zmiany w tych wzorach numerycznych mogą powodować, że komputer błędnie interpretuje obraz. Badanie podkreśla znaczenie tapet komputerowych jako potencjalnego wektora ataku. Ponieważ agenci AI ciągle robią zrzuty ekranu komputera stacjonarnego, obraz tła jest zawsze obecny i może być używany do dostarczania ukrytych poleceń. Naukowcy stwierdzili, że nawet niewielka skrawka zmienionych pikseli w ramce wystarcza, aby uruchomić agenta, aby skręcić w kursie. Ponadto ukryte polecenie może przetrwać rozmiar i kompresję, dzięki czemu utrzymuje się w różnych ustawieniach wyświetlania. Atakerzy mogą również łączyć wiele złośliwych obrazów, aby stworzyć ataki wieloetapowe. Początkowy obraz może skierować agenta do strony internetowej, w której znajdują się kolejny złośliwy obraz, który z kolei wyzwala dalsze działania. Proces ten można wielokrotnie powtarzać, umożliwiając atakującym kontrolowanie agenta i kierowanie go do różnych stron internetowych zaprojektowanych do kodowania różnych ataków, według Aichbergera. Zespół badawczy ma nadzieję, że ich ustalenia zachęcą programistów do wdrożenia zabezpieczeń, zanim agenci AI staną się bardziej rozpowszechnieni. Adel Bibi, współautor badania, sugeruje, że zrozumienie, w jaki sposób wzmocnić ataki, może informować o rozwoju mechanizmów obronnych. Modele przekwalifikowania tych silniejszych łat może uczynić je bardziej solidnymi i zapewnić warstwę obrony. Nawet systemy AI zamknięte nie są odporne na te luki. Paren wskazuje, że poleganie na „bezpieczeństwie poprzez zapomnienie” jest niewystarczające, a dokładne zrozumienie, w jaki sposób działają te systemy, jest konieczne do zidentyfikowania i rozwiązania luk. GAL przewiduje, że agenci AI staną się powszechne w ciągu najbliższych dwóch lat, podkreślając pilność rozwiązania tych problemów bezpieczeństwa. Zespół ostatecznie ma na celu zachęcenie programistów do tworzenia agentów, którzy mogą się chronić i odmawiać przyjmowania zamówień od podejrzanych treści na ekranie, niezależnie od jego źródła. Podsumowując, badanie University of Oxford ujawnia znaczną podatność na środki AI, pokazując, w jaki sposób złośliwe obrazy z manipulowanymi pikselami można wykorzystać do kontrolowania tych agentów i zagrażania bezpieczeństwa komputerowego. Badanie podkreśla potrzebę świadomości tych zagrożeń i wdrażania solidnych mechanizmów obronnych w celu ochrony przed takimi atakami, jak technologia AI Agent. Odkrycia badaczy podkreślają znaczenie proaktywnych środków bezpieczeństwa w rozwoju i wdrażaniu agentów AI. Rozumiejąc potencjalne wektory i luki w zabezpieczeniach ataku, programiści mogą tworzyć bezpieczniejsze i odporne systemy, które chronią użytkowników przed złośliwymi aktorami. Badanie stanowi cenny wkład w dziedzinę bezpieczeństwa AI, zapewniając wgląd i zalecenia dotyczące ograniczenia ryzyka związanego z technologią agentów AI. Implikacje tych badań wykraczają poza poszczególnych użytkowników do organizacji i branż, które opierają się na agentach AI dla różnych zadań. Ponieważ agenci AI stają się bardziej zintegrowani z życiem codziennym, wzrasta potencjał powszechnych zakłóceń i szkód spowodowanych przez złośliwe ataki. Dlatego interesariusze kluczowe jest priorytetowe ustalanie priorytetów bezpieczeństwa i współpracy w celu opracowania i wdrażania skutecznych zabezpieczeń. Wyniki badania podkreślają również potrzebę ciągłych badań i rozwoju w dziedzinie bezpieczeństwa AI. W miarę ewolucji technologii AI pojawią się nowe luki i wektory ataku, wymagając ciągłych wysiłków w celu ich identyfikacji i zajęcia się. Wyprzedzając potencjalne zagrożenia, naukowcy i programiści mogą zapewnić, że agenci AI pozostaną bezpiecznym i niezawodnym narzędziem dla użytkowników. Oprócz rozwiązań technicznych badanie podkreśla również znaczenie świadomości użytkowników i edukacji. Użytkownicy powinni być informowani o potencjalnym ryzyku związanym z agentami AI i zapewnić wytyczne dotyczące tego, jak się chronić. Obejmuje to ostrożność w przypadku obrazów, które oglądają i wchodzą w interakcje, a także zrozumienie funkcji bezpieczeństwa i ustawień ich agentów AI. Badanie University of Oxford służy jako terminowe przypomnienie o znaczeniu bezpieczeństwa w erze AI. Ponieważ technologia AI nadal rozwija się i staje się bardziej zintegrowana z naszym życiem, konieczne jest priorytety dotyczące bezpieczeństwa i współpracy w celu sprostania wyzwaniom i zapewnienie, że AI pozostaje siłą na dobre. Podatność zidentyfikowana w badaniu jest szczególnie niepokojąca, biorąc pod uwagę rosnącą częstość występowania agentów AI w różnych zastosowaniach. Od zarządzania skrzynkami odbiorczymi e -mail po automatyzację rutynowych zadań komputerowych, agenci AI stają się integralną częścią codziennego życia wielu ludzi. Ta powszechna adopcja czyni je atrakcyjnym celem dla złośliwych aktorów, którzy chcą wykorzystać luki i uzyskać nieautoryzowany dostęp do poufnych informacji. Fakt, że atak można przeprowadzić poprzez pozornie nieszkodliwe obrazy, takie jak tapety stacjonarne i posty w mediach społecznościowych, dodatkowo podkreśla podstępny charakter zagrożenia. Użytkownicy mogą nie zdawać sobie sprawy, że oglądane przez nich obrazy zawierają ukryte polecenia, które mogą zagrozić ich systemom komputerowym. Podkreśla to potrzebę solidnych środków bezpieczeństwa, które mogą wykryć i zapobiec takim atakom, nawet jeśli są ukryte jako nieszkodliwe treści. Zalecenie naukowców do przekwalifikowania modeli AI o silniejszych łatach jest obiecującym podejściem do łagodzenia luki. Wystawiając modele AI na szerszy zakres złośliwych obrazów i szkoli je w celu rozpoznania i oporu tych ataków, programiści mogą tworzyć bardziej odporne systemy, które są lepiej przygotowane do ochrony przed manipulacjami na poziomie pikseli. Podejście to jest zgodne z szerszym trendem szkolenia przeciwników w dziedzinie bezpieczeństwa AI, które obejmuje modele szkoleniowe w celu wytrzymania ataków ze strony przeciwnych przykładów zaprojektowanych w celu ich oszukania. Jednak przekwalifikowanie modeli AI nie jest srebrną kulą, a inne środki bezpieczeństwa są również konieczne. Deweloperzy powinni również skoncentrować się na wdrażaniu solidnych technik walidacji wejściowych i odkażania, aby zapobiec wejściu złośliwych danych do systemu. Obejmuje to starannie badanie obrazów i innych źródeł danych w celu identyfikacji i usunięcia ukrytych poleceń lub złośliwych treści. Ponadto programiści powinni wdrożyć silne mechanizmy uwierzytelniania i autoryzacji, aby upewnić się, że tylko upoważnieni użytkownicy mogą uzyskać dostęp do agentów AI i kontrolować. Wyniki badania mają również implikacje dla rozwoju etyki AI i ram zarządzania. Ponieważ technologia AI staje się silniejsza i wszechobecna, konieczne jest ustalenie jasnych wytycznych etycznych i struktur zarządzania, aby zapewnić, że AI jest stosowane odpowiedzialnie i w sposób, który przynosi korzyści społeczeństwu. Obejmuje to rozwiązanie problemu bezpieczeństwa związanego z AI i wdrażanie środków zapobiegających stosowaniu sztucznej inteligencji do złośliwych celów.
Source: Badanie Oxford: złośliwe obrazy mogą kontrolować agentów AI
