Narzędzie FDA o nazwie Elsa spotyka się z krytyką za tworzenie iluzorycznych danych naukowych

Nowe narzędzie AI FDA, Elsa, obiecuje szybsze zatwierdzania leków, ale eksperci medyczni ostrzegają, że to narzędzie generuje sfałszowane badania, co prowadzi do dodatkowych ryzyk związanych z bezpieczeństwem.

W czerwcu FDA uruchomiło Elsa – nowe narzędzie oparte na sztucznej inteligencji, które ma przyspieszyć procedury zatwierdzania leków. Komisarz FDA, dr Marty Makary, oświadczył, że system zostanie ukończony przed planowanym terminem, zachowując jednocześnie budżet.

Jednakże, pracownicy FDA niedawno powiedzieli CNN, że Elsa wymaga dalszego rozwoju, zanim będzie mogła być używana w praktycznych zastosowaniach.

Elsa ma pomagać naukowcom z FDA w pracy związanej z podsumowywaniem danych i optymalizacją procesu recenzji. Jednakże, CNN zauważa, że obecni i byli pracownicy FDA raportują, że Elsa ma halucynacje i generuje fałszywe informacje. Faktycznie, narzędzie to zdaje się tworzyć nowe badania lub zniekształcać istniejące, co czyni je ryzykownym do użycia w poważnej pracy naukowej.

„Cokolwiek nie masz czasu, aby sprawdzić podwójnie, jest niewiarygodne. To pewnie wywołuje halucynacje” – powiedziała jedna z pracownic FDA do CNN. Inna dodała: „AI ma na celu oszczędzanie naszego czasu, ale gwarantuję, że marnuję dużo dodatkowego czasu tylko z powodu podwyższonej czujności, którą muszę zachować”.

CNN zauważa, że obecnie Elsa nie jest używana do przeglądów leków lub urządzeń, ponieważ nie ma dostępu do ważnych dokumentów, takich jak zgłoszenia firm. Dyrektor FDA ds. AI, Jeremy Walsh, przyznał ten problem: „Elsa nie różni się od wielu [large language models] i generatywnych AI […] Mogłyby potencjalnie wywoływać halucynacje”, jak donosi CNN

Urzędnicy FDA mówią, że Elsa jest głównie używana do organizowania zadań, takich jak podsumowywanie notatek z posiedzeń. Posiada proste interfejs, który zachęca użytkowników do „Zapytaj Elsę o cokolwiek.”

Pracownicy nie są zobowiązani do korzystania z tego narzędzia. „Nie muszą korzystać z Elsy, jeśli nie uznają jej za wartościową,” powiedziała Makary do CNN.

Jednak, bez federalnych regulacji dotyczących AI w medycynie, eksperci ostrzegają, że jest to ryzykowna ścieżka. „To jest naprawdę trochę jak Dziki Zachód teraz”, powiedział Dr Jonathan Chen z Uniwersytetu Stanforda, w rozmowie z CNN.

Ponieważ adopcja AI w nauce rośnie szybko, ponad połowa badaczy twierdzi, że AI już przewyższa ludzi w takich zadaniach jak podsumowywanie i sprawdzanie plagiatów.

Jednak nadal istnieją znaczące wyzwania. Ankieta przeprowadzona wśród 5000 badaczy wykazała, że 81% z nich obawia się o dokładność, stronniczość i ryzyko naruszenia prywatności w AI. Wielu widzi brak wytycznych i szkolenia jako główną przeszkodę w bezpiecznym korzystaniu z AI.

Eksperci podkreślają pilną potrzebę jasniejszych zasad etyki AI i edukacji, aby uniknąć nadużyć. Mimo że AI pokazuje obiecujące możliwości, badacze zgadzają się, że nadzór ludzki jest nadal niezbędny do utrzymania integralności naukowej.