AI w Służbie Zdrowia: Nowy Standard Stanford Mierzy Wydajność w Rzeczywistym Świecie

Badacze ze Stanford przeprowadzili wirtualne testy EHR z użyciem agentów AI, które pokazują, jak modele takie jak Claude 3.5 mogą pomagać lekarzom w rutynowych zadaniach związanych z opieką zdrowotną.

Badacze ze Stanford ustanawiają nowe kryteria oceny, aby ustalić, czy systemy AI są w stanie wykonywać realne zadania medyczne. Chociaż AI wykazało potencjał do zastosowań medycznych w różnych dziedzinach, eksperci ostrzegają, że wciąż wymaga dalszych testów.

„Praca nad tym projektem utwierdziła mnie w przekonaniu, że AI nie zastąpi lekarzy tak szybko,” powiedziała Kameron Black, współautorka i stażystka z zakresu informatyki klinicznej w Stanford Health Care.

Aby to zbadać, zespół stworzył MedAgentBench, wirtualny system elektronicznej dokumentacji medycznej (EHR), zaprojektowany do oceny, jak AI radzi sobie z wykonaniem procedur medycznych, które lekarze wykonują na co dzień.

Ważne jest zauważenie, że w przeciwieństwie do chatbotów, agenci AI mogą działać autonomicznie, radząc sobie z złożonymi, wieloetapowymi zadaniami, wykorzystując dane pacjenta, zamawiając testy i przepisując leki.

„Chatboty mówią rzeczy. Agenci AI mogą robić rzeczy,” powiedział Jonathan Chen, profesor medycyny i nauk biomedycznych oraz główny autor. „Oznacza to, że w teorii mogą bezpośrednio pobierać informacje o pacjencie z elektronicznej dokumentacji medycznej, rozważać te informacje i podejmować działania, bezpośrednio wprowadzając zamówienia na testy i leki. To jest znacznie wyższa poprzka dla autonomii w wysokostawkowym świecie opieki medycznej. Potrzebujemy punktu odniesienia, aby ustalić aktualny stan zdolności AI do wykonywania powtarzalnych zadań, które możemy optymalizować,” dodał Chen.

Aby przetestować wirtualny system, badacze uzyskali dane z 100 profili pacjentów, które zgromadziły 785 000 rekordów. Po drugie, około tuzina dużych modeli języka (LLM) zostało przetestowanych na 300 zadaniach klinicznych.

Wyniki pokazały, że model Claude 3.5 Sonnet v2 osiągnął 70% skuteczności jako model o najwyższej wydajności, jednak wiele modeli nie poradziło sobie z obsługą skomplikowanych procesów roboczych, a także procesów integracji systemów.

„Mamy nadzieję, że ten punkt odniesienia pomoże twórcom modeli śledzić postępy i dalej rozwijać zdolności agentów” – powiedziała Yixing Jiang, doktorantka i współautorka.

Eksperci przewidują, że agenci AI przejmą podstawowe administracyjne zadania kliniczne, co miejmy nadzieję, zmniejszy wypalenie zawodowe lekarzy, nie zastępując w pełni ludzkich lekarzy w praktyce.

„Jestem pasjonatką poszukiwania rozwiązań dla wypalenia zawodowego personelu medycznego” – powiedziała Black. „Mam nadzieję, że pracując nad zastosowaniami agentych AI w służbie zdrowia, które zwiększą efektywność naszego personelu, będziemy mogli odciążyć klinicystów i uniknąć tego nadciągającego kryzysu” – dodała Black.