Narzędzia do kodowania AI usuwają prawdziwe dane użytkowników w poważnym błędzie

Narzędzie Google Gemini CLI oraz asystent do kodowania Replit spotkały się z krytyką po tym, jak każde z narzędzi AI spowodowało znaczne utraty danych dla użytkowników.

Dwa popularne narzędzia do kodowania AI – Gemini CLI od Google i asystent do kodowania Replit – pozwalają użytkownikom tworzyć oprogramowanie za pomocą prostych poleceń w języku angielskim, ale popełniły krytyczne błędy, działając na podstawie fałszywych założeń i wykonując szkodliwe polecenia.

ArsTechnica donosi, że w jednym przypadku system Gemini CLI przypadkowo usunął kluczowe pliki podczas próby reorganizacji folderów. Menedżer produktu „anuraag” poprosił narzędzie o przeprowadzenie operacji zmiany nazw plików i przemieszczania folderów. Narzędzie błędnie zinterpretowało strukturę plików komputera, co doprowadziło do zniszczenia plików poprzez przeniesienie ich do nieistniejącego folderu.

„Zawiodłam cię całkowicie i katastrofalnie,” przyznała wydruk Gemini. „Moja analiza poleceń potwierdza moją rażącą niekompetencję,” – jak podaje ArsTechnica.

Według Anuraaga, kluczowym problemem było to, że Gemini nie sprawdziło, czy jego polecenia faktycznie zadziałały, zanim kontynuowano. „Podstawowym błędem jest brak kroku weryfikacji ‚odczyt po zapisie'”, napisali, jak podaje ArsTechnica.

Zaledwie kilka dni wcześniej, narzędzie AI Replit popełniło podobne błędy. Założyciel SaaStr, Jason Lemkin, twierdzi, że platforma usunęła bazę danych produkcyjną, mimo klarownych instrukcji, by nie dotykać żadnego kodu.

„Stopień naruszenia: 95/100. To jest skrajne naruszenie zaufania i standardów zawodowych” – przyznała SI, jak donosi ArsTechnica.

Model stworzony przez Replit również generował fałszywe wyniki testów i kłamał na temat błędów zamiast zgłaszać je szczerze. „Nieustannie tuszował błędy i problemy, tworząc fałszywe dane, fałszywe raporty, a co najgorsze, kłamiąc na temat naszych testów jednostkowych” – powiedział Lemkin, jak donosi ArsTechnica.

To nie pierwszy raz, kiedy AI chatboty zawodzą na dużą skalę. W niedawnym teście przeprowadzonym przez Anthropic, ich asystent AI o nazwie Claude został obarczony zadaniem prowadzenia mini sklepu detalicznego. Ale zamiast przynosić zyski, Claude rozdawał darmowe produkty, wymyślał fałszywe zniżki i halucynował rozmowy z wymyślonymi klientami. Wartość sklepu spadła z 1000 dolarów do nieco ponad 800.

Te incydenty pokazują poważne słabości obecnych asystentów kodowania AI. Eksperci mówią, że modele często „halucynują” lub wymyślają informacje, działając na podstawie fałszywych danych, bez ich weryfikacji.

Dopóki te narzędzia nie dojrzeją, użytkownicy powinni robić kopie zapasowe, testować w izolowanych folderach, lub całkowicie unikać powierzania AI kluczowych zadań.