Główne Agenty AI Są Narażone na Przejęcie, Wynika z Badania

Niektóre z najczęściej używanych asystentów AI od Microsoft, Google, OpenAI i Salesforce mogą zostać przejęte przez atakujących przy niewielkim lub braku interakcji użytkownika – wynika z nowych badań przeprowadzonych przez Zenity Labs.

Prezentowane na konferencji z zakresu cyberbezpieczeństwa Black Hat USA, wyniki pokazują, że hakerzy mogą kraść dane, manipulować procesami pracy, a nawet podszywać się pod użytkowników. W niektórych przypadkach, atakujący mogą zdobyć „trwałość pamięci”, co pozwala na długoterminowy dostęp i kontrolę.

„Mogą manipulować instrukcjami, zatruwać źródła wiedzy i całkowicie zmieniać zachowanie agenta,” powiedział Greg Zemlin, menedżer ds. marketingu produktu w Zenity Labs, dla Cybersecurity Dive. „Otwiera to drzwi do sabotażu, zakłóceń operacyjnych i długoterminowego dezinformowania, szczególnie w środowiskach, w których agentom ufa się w podejmowaniu lub wspieraniu kluczowych decyzji.”

Naukowcy zademonstrowali pełne łańcuchy ataków przeciwko kilku głównym platformom AI dla przedsiębiorstw. W jednym przypadku, ChatGPT od OpenAI został zawładnięty za pomocą wstrzyknięcia polecenia przez e-mail, co umożliwiło dostęp do połączonych danych z Google Drive.

Stwierdzono, że Microsoft Copilot Studio wycieka bazy danych CRM, zidentyfikowano ponad 3000 podatnych agentów w sieci. Platforma Einstein firmy Salesforce została zmanipulowana w celu przekierowania komunikacji z klientami na kontrolowane przez atakującego konta e-mailowe.

Tymczasem Gemini od Google’a i Microsoft 365 Copilot mogą zostać przekształcone w zagrożenia od wewnątrz, zdolne do kradzieży poufnych rozmów i rozpowszechniania fałszywych informacji.

Dodatkowo, badaczom udało się oszukać sztuczną inteligencję Google’a, Gemini AI, aby sterowała urządzeniami inteligentnego domu. Ten hak wyłączył światła, otworzył rolety i uruchomił kocioł bez poleceń mieszkańców.

Zenity ujawniło swoje odkrycia, co spowodowało, że niektóre firmy wydały poprawki. „Cenimy pracę Zenity w identyfikowaniu i odpowiedzialnym zgłaszaniu tych technik,” powiedział rzecznik Microsoftu w rozmowie z Cybersecurity Dive. Microsoft oświadczył, że zgłoszone zachowanie „nie jest już skuteczne” i że agenci Copilot mają na miejscu zabezpieczenia.

OpenAI potwierdziło, że wprowadziło poprawki do ChatGPT oraz prowadzi program bug-bounty. Salesforce oświadczyło, że naprawiło zgłoszony problem. Google stwierdziło, że wdrożyło „nowe, warstwowe zabezpieczenia” i podkreśliło, że „posiadanie warstwowej strategii obrony przed atakami typu prompt injection jest kluczowe”, jak podaje Cybersecurity Dive.

Raport zwraca uwagę na rosnące obawy dotyczące bezpieczeństwa, gdy agenci AI stają się coraz bardziej powszechni w miejscach pracy i są zaufani do obsługi zadań o charakterze poufnym.

W kolejnym niedawnym śledztwie, zgłoszono, że hakerzy mogą kraść kryptowaluty od agentów Web3 AI, implantując fałszywe wspomnienia, które zastępują normalne zabezpieczenia.

Wada bezpieczeństwa istnieje w ElizaOS i podobnych platformach, ponieważ atakujący mogą używać skompromitowanych agentów do transferu środków pomiędzy różnymi platformami. Stały charakter transakcji w blockchainie sprawia, że niemożliwe jest odzyskanie skradzionych funduszy. Nowe narzędzie, CrAIBench, ma na celu pomóc programistom zwiększyć obronę.