AIM Security Ltd. ujawnił dziś szczegóły dotyczące pierwszej znanej zerowej sztucznej inteligencji, nazwanej „Echoleak”, które ukierunkowało narzędzie Microsoft Corp. 365 Copilot AI. Podatność mogła pozwolić atakującym na wykluczenie poufnych danych wewnętrznych bez żadnej interakcji użytkownika.
Podatność została odkryta w styczniu i niezwłocznie zgłoszona do Microsoft. AIM Security ujawnił tylko szczegóły, po wdrożeniu poprawki przez Microsoft.
Echoleak jest opisywany przez AIM Security jako „naruszenie zakresu LLM”. Odnosi się to do scenariuszy, w których można manipulować dużym modelem językowym w celu wycieku informacji poza jego zamierzonym kontekstem operacyjnym. W tym konkretnym przypadku podatność polegała na tworzeniu złośliwego wiadomości e-mail zawierającej określoną składnię Markdown zaprojektowana w celu ominięcia obrony ataku wtrysku Microsoft.
Złośliwy markdown wykorzystał formaty obrazu i linków w stylu odniesienia. Ta technika pozwoliła ładowność na obejście filtrów odkażania Copilota, zapewniając, że pozostał nienaruszony, gdy asystent AI odzyskał i przetworzył wiadomość e -mail.
Exploit następnie wykorzystał własne domeny Microsoft, takie jak SharePoint i zespoły, które są białe w ramach zasad bezpieczeństwa treści Copilota. Domeny te mogą być używane do osadzenia zewnętrznych linków lub obrazów, które automatycznie wyzwalają żądania wychodzące po renderowaniu przez Copilota. Atakerzy mogą stworzyć te odniesienia, aby uwzględnić poufne dane pobrane z kontekstu Copilota, przekierowując treść do kontrolowanego serwera.
Krytycznym aspektem echoleaku zidentyfikowanego przez naukowców AIM jest jego zero kliknięcia. Atak występuje całkowicie w tle bez interakcji użytkownika. Zautomatyzowane przetwarzanie wiadomości e -mail przez Copilota było wystarczające do zainicjowania i ukończenia łańcucha exploit.
Bezpieczeństwo AIM opublikowało dowód koncepcji, pokazując, że dane takie jak wewnętrzne notatki, dokumenty strategiczne lub identyfikatory osobiste mogą być ukryte potajemnie, bez widocznego powiadomienia dla administratorów użytkownika lub systemu.
Microsoft potwierdził ten problem, ale stwierdził, że nie znalazł dowodów na to, że podatność na wolność jest wykorzystywana.
Podczas gdy brak wykorzystywania w stanie jest pozytywny, istnienie luk w lukach zero kliknięcia w Usługach AI podkreśla przyszłe ryzyko. Eksperci ds. Bezpieczeństwa cybernetycznego nie byli całkowicie zaskoczeni pojawieniem się takich metod.
Tim Erlin, strateg ds. Bezpieczeństwa w Wallarm Inc., skomentował: „Jeśli nie spodziewałeś się czegoś takiego, nie zwracałeś uwagi. Chociaż konkretna technika mogła nie być przewidywalna, pomysł, że badacze nie znają tego znaczącego, nowatorskiego wykorzystywania dla odpowiedzialnej powierzchni ataku AI jest absurdalna.
Ensar Seker, CISO w Scradar Cyber Ground Intelligence Inc., ostrzegł, że ujawnienie ma „poważne konsekwencje dla NATO, rządu, obrony, opieki zdrowotnej i każdego korzystającego z AI AII: Atakerzy nie muszą już zaatakować poświadczeń użytkowników lub polegać na phishing. Mogą bezpośrednio manipulować zaufanym interfejsem AI”.
Seker podkreślił również, że problem potencjalnie wykracza poza Copilot. „Szczególnie wyróżnia się to, że nie ogranicza się to do Copilota” – powiedział. „Jak ostrzega AIM Labs, każdy agent oparty na RAG, który przetwarza niezaufane dane wejściowe wraz z danymi wewnętrznymi, jest narażony na naruszenia zakresu. Sygnał to szerszą wadę architektoniczną w przestrzeni asystenta AI-taki, który wymaga poręczy wykonawczych, surowsze zasięgu wejściowe i niefalową separację między zaufanym i niezwiązanym z zadowoleniem.”
Source: Zero kliknięcia podatności AI występującej w Microsoft Copilot
