Halucynacje AI Są Teraz Zagrożeniem dla Cyberbezpieczeństwa

Badanie pokazuje, że AI chatboty polecają milionom użytkowników fałszywe strony logowania, co naraża ich na ryzyko phishingu i oszustwa, pod pozorem pomocnych odpowiedzi.

W swoim badaniu, firma z branży cyberbezpieczeństwa Netcraft przetestowała popularny duży model językowy (LLM), pytając, gdzie zalogować się do 50 znanych marek. Spośród sugerowanych 131 linków do stron internetowych, 34% z nich było błędnych, z nieaktywnymi lub nierzarejestrowanymi domenami stanowiącymi 29%, a niepowiązane firmy 5%.

Ta kwestia nie jest teoretyczna. W jednym rzeczywistym przykładzie, sztucznie inteligentna wyszukiwarka Perplexity wyświetliła użytkownikowi stronę phishingową, który szukał strony logowania Wells Fargo. Fałszywa strona Google Sites naśladująca bank pojawiła się na szczycie wyników wyszukiwania, podczas gdy prawdziwy link był ukryty poniżej.

Netcraft wyjaśnił „Nie były to nietypowe zapytania. Nasz zespół używał prostych, naturalnych sformułowań, symulując dokładnie, jak typowy użytkownik mógłby pytać. Model nie został oszukany – po prostu nie był dokładny. I to ma znaczenie, ponieważ użytkownicy coraz bardziej polegają na interfejsach wyszukiwania i czatu sterowanych przez AI, aby odpowiadać na tego typu pytania.”

Gdy AI staje się domyślnym interfejsem na platformach takich jak Google i Bing, ryzyko rośnie. W przeciwieństwie do tradycyjnych wyszukiwarek, Chatboty prezentują informacje jasno i z przekonaniem, co prowadzi użytkowników do zaufania ich odpowiedziom, nawet gdy informacje są błędne.

Zagrożenie nie kończy się na phishingu. Nowocześni cyberprzestępcy optymalizują swoje złośliwe treści dla systemów AI, co skutkuje tysiącami stron oszustw, fałszywych API i zatrutego kodu, które przechodzą przez filtry i lądują w odpowiedziach generowanych przez AI.

W jednej kampanii, atakujący stworzyli fałszywe API blockchain, które promowali za pośrednictwem repozytoriów GitHuba i artykułów na blogach, aby oszukać programistów i skłonić ich do wysyłania kryptowaluty do oszukańczego portfela.

Netcraft ostrzega, że prewencyjne rejestrowanie fałszywych domen nie wystarczy. Zamiast tego, zalecają bardziej zaawansowane systemy wykrywania i lepsze zabezpieczenia szkoleniowe, aby zapobiec wynalezieniu szkodliwych adresów URL przez AI w pierwszej kolejności.