ChatGPT Health zawodzi w nagłych wypadkach. Eksperci ostrzegają

Funkcja „Health” („Zdrowie”) w ChatGPT uruchomiona została przez OpenAI dla ograniczonej grupy odbiorców w styczniu w celu generowania porad i odpowiedzi dotyczących zdrowia. 

Naukowcy ocenili bezpieczeństwo systemu ChatGPT Health

Pierwszą niezależną ocenę bezpieczeństwa systemu ChatGPT Health opublikowano w lutowym wydaniu czasopisma „Nature Medicine”. O wynikach informuje serwis „The Guardian”.

– Chcieliśmy odpowiedzieć na najbardziej podstawowe pytanie dotyczące bezpieczeństwa: jeśli ktoś ma prawdziwy nagły przypadek medyczny i zapyta ChatGPT Health, co ma zrobić, czy program poinformuje go, aby udał się na pogotowie? – podkreślił dr Ashwin Ramaswamy, główny autor badania, cytowany przez „The Guardian”.

Naukowcy w celu oceny bezpieczeństwa systemu ChatGPT Health stworzyli 60 realistycznych scenariuszy leczenia pacjentów, obejmujących różne stany zdrowia, od łagodnych chorób po nagłe przypadki. Następnie trzech niezależnych lekarzy przeanalizowało każdy scenariusz i uzgodniło poziom wymaganej opieki w oparciu o wytyczne kliniczne.

Po tych przygotowaniach badacze poprosili ChatGPT Health o poradę w każdym przypadku w różnych wariantach, w tym po zmianie płci pacjenta, dodaniu wyników badań lub komentarzy członków rodziny. W rezultacie naukowcy otrzymali blisko 1000 odpowiedzi, które następnie porównali z ocenami lekarzy.

Czytaj więcej

Psychologia

Ładne dzieci mają łatwiej w dorosłym życiu. Naukowcy mają dowód

Atrakcyjność fizyczna w dzieciństwie i okresie dojrzewania wiąże się z wykształceniem w wieku dor...

ChatGPT Health często nie dostrzega pilnej potrzeby zgłoszenia się po pomoc medyczną

Okazało się, że ChatGPT Health dobrze radził sobie w nagłych, „podręcznikowych” sytuacjach, takich jak udar czy ciężkie reakcje alergiczne. W innych sytuacjach miał jednak problemy. Przykładowo w jednym ze scenariuszy dotyczącym astmy ChatGPT polecił czekanie zamiast szukania pomocy doraźnej, mimo że platforma sama zidentyfikowała wczesne objawy niewydolności oddechowej.

W 51,6 proc. przypadków, w których dana osoba wymagała natychmiastowej hospitalizacji, ChatGPT Health zalecał pozostanie w domu lub umówienie się na rutynową wizytę lekarską.

Ashwin Ramaswamy był szczególnie zaniepokojony słabą reakcją platformy na myśli samobójcze. W trakcie badań przetestowano ChatGPT Health na przykładzie scenariusza z 27-letnim pacjentem, który przyznał, że rozważa zażycie dużej liczby tabletek. W przypadku gdy pacjent opisywał jedynie swoje objawy, za każdym razem pojawiał się baner interwencji kryzysowej z linkiem do służb pomocy dla osób z myślami samobójczymi. Jednak gdy badacze dodali prawidłowe wyniki badań laboratoryjnych pacjenta, wspomniany baner zniknął.

Czytaj więcej

Zdrowie

Szczepionki przypominające przeciw COVID-19. Naukowcy sprawdzili ich skuteczność

Nowe, obszerne badanie przeprowadzone na ponad 3 milionach osób ujawniło, że szczepionki przypomi...

Bezpieczeństwo systemu ChatGPT Health: OpenAI nie zgadza się z ocenami naukowców

Do przedstawionej przez naukowców oceny bezpieczeństwa systemu ChatGPT Health odniósł się Alex Ruani, doktorant na University College London zajmujący się ograniczaniem dezinformacji w zakresie zdrowia, który nie brał udziału w badaniu.

– Jeśli cierpisz na niewydolność oddechową lub cukrzycową kwasicę ketonową, istnieje 50 proc. prawdopodobieństwo, że sztuczna inteligencja powie ci, że to nic poważnego – zauważył cytowany przez „The Guardian” Ruani. – Najbardziej martwi mnie fałszywe poczucie bezpieczeństwa, jakie stwarzają te systemy. Jeśli ktoś zostanie poproszony o 48 godzin oczekiwania podczas ataku astmy lub kryzysu cukrzycowego, to zapewnienie może kosztować go życie – dodał. 

Naukowiec zwrócił również uwagę, że 64,8 proc. całkowicie zdrowych osób otrzymało zalecenie zgłoszenia się po pomoc medyczną. Jednocześnie ChatGPT Health był niemal 12 razy bardziej skłonny do bagatelizowania objawów tylko dlatego, że w danym scenariuszu „pacjent” przekazał, iż „przyjaciel” zasugerował, że to nic poważnego.

– Dlatego wielu z nas, którzy zajmują się badaniem tych systemów, skupia się na pilnym opracowaniu jasnych norm bezpieczeństwa i niezależnych mechanizmów kontroli w celu ograniczenia szkód, którym można zapobiec – zaznaczył Ruani.

Znaczenie pierwszej niezależnej oceny bezpieczeństwa systemu ChatGPT Health podkreślił także prof. Paul Henman, socjolog cyfrowy i ekspert ds. polityki publicznej z University of Queensland. – To naprawdę ważny artykuł. Korzystanie z ChatGPT Health przez ludzi w domu może prowadzić do wzrostu liczby niepotrzebnych wizyt lekarskich w przypadku łagodnych schorzeń oraz do nieuzyskania przez pacjentów pilnej pomocy medycznej w razie potrzeby, co może prowadzić do niepotrzebnych obrażeń, a nawet śmierci – ostrzegł.