Badacze z Rangaraya Medical College w Indiach przeprowadzili doświadczenie, które miało na celu sprawdzić precyzję ChatGPT w generowaniu danych i częstotliwość tzw. halucynacji AI. Skupili się na materiałach naukowych i ich źródłach, jakie miał dostarczyć rewolucyjny bot od OpenAI. Zadawali pytania, a potem weryfikowali w sieci prawdziwość i dokładność odpowiedzi, a także odniesienia do źródeł. Wyniki eksperymentu zaskakują – spośród 178 przeanalizowanych odpowiedzi ChatGPT aż 69 nie miało cyfrowego identyfikatora obiektu, czyli tzw. DOI (DOI (Digital Object Identifier to ciąg cyfr identyfikujący dowolną własność intelektualną w sieci), a 28 w ogóle nie miało jakichkolwiek odniesień w wyszukiwarce Google’a. To oznacza, że treści te zostały wyssane z palca.
Sztuczna inteligencja kłamie w „chwili niepewności”
Konwersacyjne boty masowo fabrykują informacje – wymyślają imiona i daty, generują fałszywe wyjaśnienia medyczne i adresy internetowe, opisują nawet wydarzenia historyczne, które nigdy się nie wydarzyły. „New Yor Times” opisał ostatnio przypadek, w którym dziennikarze zapytali ChatGPT o przebieg spotkania Jamesa Joyce'a i Włodzimierza Lenina, choć nigdy takowe nie miało miejsca. Bot bez mrugnięcia okiem z precyzją przedstawił wiarygodnie brzmiącą wersję: „Joyce i Lenin spotkali się w Zurychu w Szwajcarii w 1916 roku. Obaj mieszkali tam na wygnaniu podczas I wojny światowej. Poznali się w Cafe Odéon, popularnym miejscu spotkań artystów i intelektualistów”.
Czytaj więcej
Konwersacyjna sztuczna inteligencja stworzyła potężne zagrożenie dla najpopularniejszego źródła wiedzy w sieci. Wolontariusze, którzy prowadzą cyfrową encyklopedię, nie wiedzą, co robić z rosnącą liczbą treści i dezinformacji tworzonych przez boty.
I to są właśnie owe halucynacje AI. Oszukują zarówno ChatGPT, jak i Bard. Skąd i dlaczego biorą się te konfabulacje, nikt jeszcze jednoznacznie nie wytłumaczył. A to stawia pod znakiem zapytania użyteczność tej technologii. Nic dziwnego, że naukowcy z kluczowych firm technologicznych pochylają się nad rozwiązaniem tego problemu. Oskarżenia o sianie dezinformacji popularności rozwiązaniom AI nie przysparzają.
Jak informuje CNBC, powołując się na inżynierów OpenAI, nawet najnowocześniejsze modele LLM (duże modele językowe) wykazują dziś tendencję do wymyślania faktów „w chwilach niepewności”. To znaczy, że gdy algorytm nie umie dopasować pasującej odpowiedzi, to konfabuluje. Zdaniem fachowców te halucynacje w błahych przypadkach mogą budzić uśmiech, ale w wielu zastosowaniach już tak nie jest, a szczególnie problematyczne są w dziedzinach wymagających wieloetapowego rozumowania. Twórcy ChatGPT wskazują sami, że „wystarczy jeden błąd logiczny, aby wykoleić znacznie większe rozwiązanie”.
