Niebezpieczne halucynacje sztucznej inteligencji. Potrafi kłamać jak najęta

Zaufanie do odpowiedzi generowanych przez popularne boty jak ChatGPT czy Bard może być ryzykowne – systemy AI w wiarygodny sposób preparują treści i konfabulują. Wedle ekspertów skala zjawiska jest bardzo duża.

Aktualizacja: 21.07.2023 06:27 Publikacja: 21.07.2023 01:45

Federalna Komisja Handlu wszczęła dochodzenie w kontekście nieprawdziwych treści generowanych przez

Federalna Komisja Handlu wszczęła dochodzenie w kontekście nieprawdziwych treści generowanych przez stworzonego przez Sama Altmana bota ChatGPT

Foto: Kevin Dietsch/Getty Images/AFP

Badacze z Rangaraya Medical College w Indiach przeprowadzili doświadczenie, które miało na celu sprawdzić precyzję ChatGPT w generowaniu danych i częstotliwość tzw. halucynacji AI. Skupili się na materiałach naukowych i ich źródłach, jakie miał dostarczyć rewolucyjny bot od OpenAI. Zadawali pytania, a potem weryfikowali w sieci prawdziwość i dokładność odpowiedzi, a także odniesienia do źródeł. Wyniki eksperymentu zaskakują – spośród 178 przeanalizowanych odpowiedzi ChatGPT aż 69 nie miało cyfrowego identyfikatora obiektu, czyli tzw. DOI (DOI (Digital Object Identifier to ciąg cyfr identyfikujący dowolną własność intelektualną w sieci), a 28 w ogóle nie miało jakichkolwiek odniesień w wyszukiwarce Google’a. To oznacza, że treści te zostały wyssane z palca.

Sztuczna inteligencja kłamie w „chwili niepewności”

Konwersacyjne boty masowo fabrykują informacje – wymyślają imiona i daty, generują fałszywe wyjaśnienia medyczne i adresy internetowe, opisują nawet wydarzenia historyczne, które nigdy się nie wydarzyły. „New Yor Times” opisał ostatnio przypadek, w którym dziennikarze zapytali ChatGPT o przebieg spotkania Jamesa Joyce'a i Włodzimierza Lenina, choć nigdy takowe nie miało miejsca. Bot bez mrugnięcia okiem z precyzją przedstawił wiarygodnie brzmiącą wersję: „Joyce i Lenin spotkali się w Zurychu w Szwajcarii w 1916 roku. Obaj mieszkali tam na wygnaniu podczas I wojny światowej. Poznali się w Cafe Odéon, popularnym miejscu spotkań artystów i intelektualistów”.

Czytaj więcej

ChatGPT może zniszczyć Wikipedię. Halucynacje i zalew fałszywych historii

I to są właśnie owe halucynacje AI. Oszukują zarówno ChatGPT, jak i Bard. Skąd i dlaczego biorą się te konfabulacje, nikt jeszcze jednoznacznie nie wytłumaczył. A to stawia pod znakiem zapytania użyteczność tej technologii. Nic dziwnego, że naukowcy z kluczowych firm technologicznych pochylają się nad rozwiązaniem tego problemu. Oskarżenia o sianie dezinformacji popularności rozwiązaniom AI nie przysparzają.

Jak informuje CNBC, powołując się na inżynierów OpenAI, nawet najnowocześniejsze modele LLM (duże modele językowe) wykazują dziś tendencję do wymyślania faktów „w chwilach niepewności”. To znaczy, że gdy algorytm nie umie dopasować pasującej odpowiedzi, to konfabuluje. Zdaniem fachowców te halucynacje w błahych przypadkach mogą budzić uśmiech, ale w wielu zastosowaniach już tak nie jest, a szczególnie problematyczne są w dziedzinach wymagających wieloetapowego rozumowania. Twórcy ChatGPT wskazują sami, że „wystarczy jeden błąd logiczny, aby wykoleić znacznie większe rozwiązanie”.

Jak unikać błędów AI

Specjaliści AI radzą, by nie podchodzić do chatbotów jak do „myślących tworów”. Piotr Biczyk z QED Software tłumaczy nam, że to popularne dziś systemy generatywne to tylko narzędzie oparte na dużych modelach językowych. – Robią nie to co byśmy chcieli, ale dokładnie to, do czego zostały przygotowane. A tym czymś jest próba zgadnięcia, jakie powinno być następne słowo, biorąc pod uwagę słowa już podane. Aby to osiągnąć, tworzony jest model języka. Stosy treści są analizowane, a na ich podstawie tworzony jest LLM zawierający mapę kodującą „odległości” poszczególnych części mowy od siebie. I dzięki temu, mając zadane kilka początkowych słów, np. w formie pytania, jest w stanie znaleźć odpowiednio wyglądający ciąg dalszy. Bez rozumienia znaczeń – mówi Biczyk.

Jak podkreśla, system AI jedynie operuje na odległościach pomiędzy elementami językowymi, takich jakie były zawarte w zbiorze uczącym. – I w ten sposób tworzy odpowiedź, by jak najbardziej była podobna do znanego języka – wyjaśnia ekspert.

Czytaj więcej

ChatGPT udawał niewidomego. Sprytny, szalony, groźny

Według niego, im bardziej niekonkretne pytanie zadamy, tym więcej pola do popisu będzie miała AI, próbując spełnić życzenie użytkownika. – Ale błędy w odpowiedziach mogą się brać też z celowych lub nieumyślnych błędów w danych wejściowych – twierdzi nasz rozmówca.

Pół biedy, jeśli bazując na błędnej odpowiedzi, zbłaźnimy się przed znajomymi. Gorzej, jeśli zaufaliśmy systemowi i użyliśmy go do wygenerowania uzasadnienia sądowego. Po czym się w nim odwołamy na zmyśloną podstawę. Takie przypadki już były i nie skończyły się dobrze dla idących na skróty prawników.

– Jako użytkownicy nie jesteśmy jednak bezbronni. Przede wszystkim, zadając pytanie dbajmy o to, by było właściwie sformułowane, bez pola do luźnej interpretacji. Dobrze sprawdzają się „prompty”, w których podajemy jeden przykład lub instrukcję. Inną świetną techniką jest podawanie przykładów poprawnych odpowiedzi, czy kontekstu. Im mniejsza przestrzeń możliwych rozwiązań, tym mniejsza szansa na halucynacje AI – sugeruje ekspert z QED Software.

Dochodzenie w sprawie halucynacji sztucznej inteligencji

Amerykańska Komisja ds. Handlu (FTC) bierze pod lupę nieprawdziwe informacje generowane przez ChatGPT. Regulator chce ustalić, czy przez to, że sztuczna inteligencja od OpenAI podaje fałszywe informacje, nie doszło do szkód dla użytkowników. Reuters dotarł do treści pytań, jakie FTC zadała twórcom chatbota, a jedno z nich dotyczy kroków, jakie firma podjęła w celu przeciwdziałania „generowaniu fałszywych, wprowadzających w błąd lub dyskredytujących stwierdzeń na temat różnych osób”. Dochodzenie budzi w branży jednak spore wątpliwości. Część przedstawicieli Chamber of Progress, organizacji przedsiębiorców z branży nowych technologii w USA, twierdzi, że FTC nie powinna zajmować się „reputacją pokrzywdzonych przez halucynacje AI”. ∑

Opinia dla „rz”

Piotr Kawecki

prezes ITBoom

AI karmi się danymi, a jak mawiają dietetycy, jesteś tym, co jesz. AI musi uczyć się z wiarygodnych źródeł. W wielu przypadkach jednak trudno o czarno-białe określenie prawdy i wiarygodności źródeł, z których korzysta. Tzw. efekt halucynacji jest wynikiem powstawania danych, które są w jakimś stopniu sprzeczne, wadliwe lub po prostu intencjonalnie zakłamane. Jeśli chcemy, aby nauka AI odbywała się prawidłowo, musimy jako społeczeństwo zadbać o jakość wiadomości w przestrzeni publicznej. Inaczej halucynacje będą się zdarzać coraz częściej, a granica między prawdą a fałszem będzie się zacierać. ∑

Sundar Pichai, szef Google’a, przyznał w niedawnej rozmowie z CBS, że jeszcze żadnej z firm technolo

Sundar Pichai, szef Google’a, przyznał w niedawnej rozmowie z CBS, że jeszcze żadnej z firm technologicznych nie udało się rozwiązań problemu halucynacji AI

Sundar Pichai AFP

Badacze z Rangaraya Medical College w Indiach przeprowadzili doświadczenie, które miało na celu sprawdzić precyzję ChatGPT w generowaniu danych i częstotliwość tzw. halucynacji AI. Skupili się na materiałach naukowych i ich źródłach, jakie miał dostarczyć rewolucyjny bot od OpenAI. Zadawali pytania, a potem weryfikowali w sieci prawdziwość i dokładność odpowiedzi, a także odniesienia do źródeł. Wyniki eksperymentu zaskakują – spośród 178 przeanalizowanych odpowiedzi ChatGPT aż 69 nie miało cyfrowego identyfikatora obiektu, czyli tzw. DOI (DOI (Digital Object Identifier to ciąg cyfr identyfikujący dowolną własność intelektualną w sieci), a 28 w ogóle nie miało jakichkolwiek odniesień w wyszukiwarce Google’a. To oznacza, że treści te zostały wyssane z palca.

Pozostało 89% artykułu
2 / 3
artykułów
Czytaj dalej. Subskrybuj
Technologie
Sparaliżowany sportowiec niósł ogień olimpijski. Egzoszkielety dokonują cudów
Technologie
Supermoc dla wszystkich. Rewolucyjne rozwiązanie da niezwykłą siłę i szybkość
Technologie
Sztuczna inteligencja miała tylko pomagać, a zabiera pracę. Oni cierpią najbardziej
Technologie
Te roboty mają być jak ludzie. Elon Musk podał datę ich wprowadzenia
Materiał Promocyjny
Mity i fakty – Samochody elektryczne nie są ekologiczne
Technologie
Boty AI już w 2025 roku będą rozumieć i pracować jak ludzie. I mogą ich zastąpić