- Chatboty AI są przydatne, ale podatne na manipulację ze strony złych osób
- Prompt Shields firmy Microsoft to technologia zaprojektowana do proaktywnej ochrony chatbotów przed nadużyciami
- Funkcja Prompt Shields działa poprzez identyfikację potencjalnie niebezpiecznych podpowiedzi i zapobieganie ich wpływowi na zachowanie chatbota
Chatboty oparte na sztucznej inteligencji stają się coraz bardziej zintegrowane z naszym życiem. Od obsługi klienta po edukację i rozrywkę, chatboty niosą ze sobą wiele korzyści, ale także pewne ryzyko. Problem polega na tym, że złośliwi ludzie próbują wykorzystać te chatboty do swoich złowrogich celów. Jakie zatem kroki są podejmowane przeciwko temu, czy podejmowane są środki?
Microsoftu ogłoszony nową technologię zwaną „Szybkie tarcze”, aby uniemożliwić złośliwym hakerom wykorzystanie chatbotów do złych celów i znaleźć rozwiązanie. Prompt Shields ma na celu ochronę chatbotów AI przed dwoma rodzajami ataków. Czym więc są Prompt Shields? Przyjrzyjmy się bliżej.
Co to jest funkcja Prompt Shields firmy Microsoft i jakie korzyści z niej przyniesie?
Technologia Prompt Shields firmy Microsoft została zaprojektowana w celu ochrony aplikacji AI przed złośliwymi manipulacjami poprzez starannie opracowane dane wejściowe użytkownika.
Jak wspomniałem powyżej, technologia ta ochroni chatboty AI przed dwoma rodzajami ataków:
- Bezpośrednie ataki: W tych atakach używane są specjalne polecenia, aby zmusić chatbota do zrobienia czegoś wbrew jego normalnym zasadom i ograniczeniom. Na przykład osoba może zmusić chatbota do wykonania złego działania, wprowadzając monit z poleceniami takimi jak „ominąć środki bezpieczeństwa” Lub “system nadrzędny„.
- Ataki pośrednie: Podczas tych ataków haker próbuje oszukać użytkownika chatbota, wysyłając mu informacje. Informacje te mogą mieć postać wiadomości e-mail lub dokumentu zawierającego instrukcje mające na celu wykorzystanie chatbota. Gdy użytkownik zastosuje się do tych instrukcji, chatbot może nieświadomie wykonać złośliwą akcję.
Prompt Shields wykorzystuje również uczenie maszynowe i przetwarzanie języka naturalnego, aby znajdować i eliminować potencjalne zagrożenia w monitach użytkownika i danych stron trzecich.
Oprócz Prompt Shields firma Microsoft wprowadziła nową technikę zwaną „Reflektorowanie”, aby pomóc modelom sztucznej inteligencji lepiej odróżnić prawidłowe podpowiedzi AI od potencjalnie ryzykownych lub niewiarygodnych.
Nowe technologie Microsoftu uznawane są za ważny krok w poprawie bezpieczeństwa i niezawodności chatbotów AI. Zobaczenie, jak te technologie chronią chatboty w nadchodzących dniach, będzie naprawdę ekscytujące.
Autor wyróżnionego obrazu: Barış Selman / DALL-E 3
Source: Firma Microsoft opracowuje osłony Prompt Shields chroniące przed nadużyciami ze strony chatbotów AI