AI wcale nie głupieje. Naukowcy: To z ludźmi dzieje się coś zaskakującego

Poczucie, że jeszcze kilka miesięcy temu ChatGPT czy inne duże modele językowe (LLM) radziły sobie z zadaniami znacznie lepiej, to jedno z najczęstszych zjawisk obserwowanych wśród użytkowników nowych technologii. W debacie publicznej regularnie pojawiają się oskarżenia, że dostawcy po cichu tną koszty mocy obliczeniowej, co rzekomo obniża inteligencję cyfrowych asystentów. Naukowcy ze Stevens Institute of Technology i University of Massachusetts w Bostonie znaleźli jednak niespodziewaną przyczynę.

ChatGPT się nie zmienia, a oceny coraz gorsze

Zihan Chen, Di Zhu oraz Lei Nico Zheng opublikowali właśnie swoje najnowsze badania, a wyniki udostępnili w repozytorium naukowym arXiv. Ich praca rzuca nieco inne światło na relację człowieka z generatywną sztuczną inteligencją. Badacze wykorzystali publiczne dane z Chatbot Arena, popularnej platformy prowadzonej przez organizację LMSYS, na której internauci zadają dowolne pytanie i otrzymują odpowiedzi z dwóch anonimowych modeli jednocześnie. Użytkownik wskazuje tam lepszy wynik, ogłasza remis albo klika przycisk „oba są złe”, a nazwy algorytmów poznaje dopiero po oddaniu głosu. Zespół przeanalizował ponad 1,2 mln takich głosów oddanych w ciągu kilkunastu miesięcy, a pod lupę wziął łącznie 106 modeli – badano sytuację, w której oceniany produkt przez ponad rok nie zmienił się ani o jotę. Dane z laboratorium LMSYS okazały się jednoznaczne – dla tych samych par niezmienionych modeli udział głosów „oba są złe” rósł systematycznie o 1,71 pkt proc. każdego miesiąca (przy średniej wynoszącej 17,1 proc.), a z czasem tempo wręcz przyspieszało (do 1,91 pkt proc. miesięcznie). W ujęciu rocznym oznacza to skok krytycznych ocen o około 21 pkt proc. Analitycy uważają, iż internauci przestali odróżniać lepszą odpowiedź od gorszej, a przesunął się próg akceptacji. Autorzy badania wykluczyli też czynniki zewnętrzne: zjawisko utrzymywało się niezależnie od języka zapytania (od angielskiego po chiński i koreański), stopnia trudności poleceń, długości generowanego tekstu czy zmian w interfejsie samej platformy.

W opracowaniu czytamy, że zjawisko to idealnie wpisuje się w znaną z psychologii teorię poziomu adaptacji oraz koncepcję „hedonicznej bieżni”. Punkt odniesienia człowieka nieustannie przesuwa się wraz z nowymi doświadczeniami. Naukowcy wskazują, że na rynek trafiają coraz potężniejsze systemy AI (badanie prowadzono na danych od maja 2023 r. do sierpnia 2024 r.), a użytkownicy błyskawicznie przyzwyczajają się do wyższej jakości. Badanie pokazało, że bardziej wybredni stawali się zarówno powracający testerzy (wzrost surowości o 1,9 pkt proc. miesięcznie u tych samych osób), jak i zupełnie nowi użytkownicy, którzy już przy swoim pierwszym głosowaniu byli o 11,6 pkt proc. bardziej krytyczni niż debiutanci rok wcześniej.

Pułapka dla biznesu i twórców modeli

W efekcie, mimo ogromnego postępu technologicznego, ogólny odsetek niezadowolenia względem AI na platformie Chatbot Arena nie uległ praktycznie zmianie (lekki wzrost z 19,4 do 20,6 proc.). Wnioski płynące z badania wykraczają jednak poza akademicką ciekawość i dotykają fundamentów ekonomii sztucznej inteligencji. Po pierwsze, stanowią ostrzeżenie dla dostawców oprogramowania oraz firm wdrażających AI – w branży charakteryzującej się tak zawrotnym tempem innowacji produkt, który po prostu stoi w miejscu i zachowuje dotychczasowe parametry, jest przez rynek odbierany jako produkt psujący się, a opieranie decyzji biznesowych wyłącznie na subiektywnych skargach klientów (bez zestawienia ich ze stałymi, niezmiennymi punktami odniesienia) może prowadzić do błędnych wniosków o regresji technologii. Po drugie, badanie podważa dotychczasowy sposób tworzenia publicznych rankingów LLM oraz trenowania samych algorytmów. Nowoczesne modele językowe są dostrajane za pomocą techniki uczenia ze wzmocnieniem na podstawie ludzkich opinii, w której oceny wystawiane przez ludzi uczą maszynę, jakie odpowiedzi są pożądane. Skoro jednak ocena „zła odpowiedź” z 2023 r. oznacza zupełnie inny poziom jakości niż ta sama etykieta wystawiona w 2024 r., bezrefleksyjne łączenie danych treningowych z różnych okresów wprowadza do procesu uczenia szum informacyjny. Naukowcy rekomendują więc, by platformy ewaluacyjne oraz zespoły inżynieryjne wprowadziły obowiązkowe tzw. kotwiczenie ocen (utrzymywanie w puli testowej zestawu zamrożonych modeli referencyjnych, które pozwalają matematycznie odfiltrować zmieniające się nastroje i rosnące wymagania oceniających).