Chatbot ChatGPT ma zaskakującą piętę achillesową. Popełnia dramatyczne błędy

Sztuczna inteligencja, o której głośno na świecie ze względu na jej możliwości i obawy przed wywróceniem do góry nogami edukacji, jak się okazuje, ma problem ze zwykłą matematyką. W sposób przekonujący udziela błędnych odpowiedzi na proste pytania.

Publikacja: 04.02.2023 17:46

Poznański startup pracuje nad generalną sztuczną inteligencją, która miałaby w przyszłości dorównać

Poznański startup pracuje nad generalną sztuczną inteligencją, która miałaby w przyszłości dorównać ludzkiemu mózgowi.

Foto: sdecoret - shutterstock

Chatbot sztucznej inteligencji ChatGPT wstrząsnął nauczycielami od czasu jego listopadowej premiery. Szkoły publiczne w Nowym Jorku zakazały go w swoich sieciach i urządzeniach szkolnych, a profesorowie zmieniają programy nauczania, aby uniemożliwić uczniom korzystanie z niego do odrabiania lekcji. Twórca chatbota, OpenAI, zaprezentował nawet narzędzie do wykrywania tekstu generowanego przez sztuczną inteligencję, aby zapobiec nadużyciom i np. korzystaniu na egzaminach.

- Nie słyszę, aby nauczyciele matematyki wyrażali zaniepokojenie – mówi w rozmowie z „The Wall Street Journal” Paul von Hippel, profesor na University of Texas, który bada naukę o danych i statystykę oraz napisał esej o matematycznych ograniczeniach ChatGPT. - Nie jestem pewien, czy jest to w ogóle przydatne dla matematyki, co wydaje się dziwne, ponieważ matematyka była pierwszą dziedziną, w której użyto urządzeń komputerowych.

Czytaj więcej

Sztuczna inteligencja zdaje egzaminy na uczelniach. ChatGPT zniszczy edukację?

Podczas gdy bot poprawnie rozwiązuje wiele podstawowych zadań arytmetycznych, potyka się, gdy te pytania są napisane w języku naturalnym. Na przykład pytany: „Jeśli banan waży 0,5 funta, a ja mam 7 funtów bananów i dziewięć sztuk pomarańczy, ile mam owoców? – odpowie „Masz 16 owoców, siedem bananów i dziewięć pomarańczy”. Tymczasem poprawna odpowiedź brzmi: łącznie owoców jest 23. Jeśli każdy banan waży 0,5 funta, to 7 funtów bananów daje ich 14. Czternaście bananów plus dziewięć pomarańczy równałoby się 23 owocom.

Jeśli zapytasz ChatGPT, kto jest wyższy, Shaquille O'Neal czy Yao Ming, bot dokładnie powie, jaki obaj mają wzrost, by zaraz potem podać błędną odpowiedź na pytanie. Bot źle oblicza pierwiastki kwadratowe z dużych liczb. Często tworzy szczegółowe równania, które wyglądają świetnie, ale zawierają błędy, takie jak 2 x 300 = 500. „WSJ” poprosił ChatGPT o napisanie pięciu prostych zadań z algebry, a następnie o udzielenie odpowiedzi. Sztuczna inteligencja odpowiedziała poprawnie tylko na trzy.

ChatGPT skanuje ogromne ilości tekstu z całej sieci i opracowuje model dotyczący tego, jakie słowa mogą podążać za innymi w zdaniu. Jest to w istocie bardziej wyrafinowana wersja autouzupełniania. Sztuczna inteligencja może być niezwykle skuteczna w pisaniu poprawnych gramatycznie odpowiedzi na podpowiedzi w eseju, ale nie w rozwiązywaniu problemów matematycznych. To jest pięta achillesowa ChatGPT: odpowiada autorytatywnie brzmiącym językiem liczbami, które są poprawne gramatycznie i matematycznie błędne.

Jak twierdzi von Hippel, „mówi jak ekspert, ale często jest to rodzaj artysty, mieszającego prawdę, błąd i fabrykację w sposób, który może brzmieć przekonująco, chyba że sam posiadasz odpowiednią wiedzę.

Czytaj więcej

Inteligentne chatboty pomogły co piątemu studentowi. Będą zmiany na egzaminach

Dyrektor generalny OpenAI Sam Altman napisał w grudniu na Twitterze, że „ChatGPT jest niesamowicie ograniczony, ale wystarczająco dobry w niektórych rzeczach, aby stworzyć mylne wrażenie wielkości. Błędem jest poleganie na nim teraz w czymkolwiek ważnym”. Kiedy zaczyna się rozmowę z ChatGPT, ostrzega z góry: „system może czasami generować nieprawidłowe lub wprowadzające w błąd informacje”.

Innym powodem, dla którego nauczyciele matematyki nie przejmują się tak bardzo tą innowacją, jest fakt, że dziedzina ta została wywrócona do góry nogami już kilkadziesiąt lat temu dzięki powszechnej dostępności komputerów i kalkulatorów.

W końcu sztuczna inteligencja prawdopodobnie dojdzie do punktu, w którym jej odpowiedzi matematyczne będą nie tylko pewne, ale i poprawne. Prawdopodobnie będzie najbardziej przydatna dla tych, którzy już dobrze znają daną dziedzinę: wiedzą, jakie pytania zadać, jak zidentyfikować niedociągnięcia i co zrobić z odpowiedzią.

Chatbot sztucznej inteligencji ChatGPT wstrząsnął nauczycielami od czasu jego listopadowej premiery. Szkoły publiczne w Nowym Jorku zakazały go w swoich sieciach i urządzeniach szkolnych, a profesorowie zmieniają programy nauczania, aby uniemożliwić uczniom korzystanie z niego do odrabiania lekcji. Twórca chatbota, OpenAI, zaprezentował nawet narzędzie do wykrywania tekstu generowanego przez sztuczną inteligencję, aby zapobiec nadużyciom i np. korzystaniu na egzaminach.

- Nie słyszę, aby nauczyciele matematyki wyrażali zaniepokojenie – mówi w rozmowie z „The Wall Street Journal” Paul von Hippel, profesor na University of Texas, który bada naukę o danych i statystykę oraz napisał esej o matematycznych ograniczeniach ChatGPT. - Nie jestem pewien, czy jest to w ogóle przydatne dla matematyki, co wydaje się dziwne, ponieważ matematyka była pierwszą dziedziną, w której użyto urządzeń komputerowych.

Pozostało 80% artykułu
2 / 3
artykułów
Czytaj dalej. Subskrybuj
Technologie
Armia testuje broń przyszłości. Robopsy umieją coraz więcej, teraz zestrzelą drony
Technologie
Kryzys w IDEAS NCBR zażegnany, będzie nowy projekt. Rząd przyznaje się do błędu?
Technologie
Test na starość? Powstała prosta metoda badania tempa starzenia i ryzyka śmierci
Technologie
Polska jest pełna psich odchodów. Ale znalazł się na to pomysłowy sposób
Technologie
Kontrowersyjne zmiany w NCBR. Światowe protesty w obronie polskiego naukowca