Naukowcy odkryli nową wadę AI. Robi zaskakujące błędy

Badania naukowców potwierdziły, że nawet najpotężniejsze modele LLM (Large Language Models) mogą popełniać ten sam błąd. Zdarza się bowiem, że udzielają przekonujących odpowiedzi, rozpoznając znajome sformułowanie, bez zrozumienia tematu. Może to zmniejszać ich wiarygodność i stwarzać zagrożenie bezpieczeństwa.

Naukowcy ostrzegają. Na te błędy modeli LLM trzeba uważać

Jak ustalili naukowcy z MIT (Massachusetts Institute of Technology), duże modele językowe mogą nauczyć się błędnie łączyć określone wzorce zdań z konkretnymi tematami i powtarzać je, zamiast przeprowadzać rozumowanie.

Zdarza się, że odczytując pytania użytkowników, wykorzystują schematy gramatyczne, których nauczyły się podczas szkolenia i wyciągają błędne wnioski. Przez to czasami udzielają nieadekwatnych odpowiedzi.

Do szkolenia modeli LLM wykorzystywana jest ogromna ilość treści z internetu. Modele uczą się rozumieć relacje między słowami i frazami, by móc odpowiadać na pytania z różnych dziedzin. Wychwytują w tym celu wzorce często powtarzające się w częściach mowy, które są określane „szablonami składniowymi”.

„Na przykład w sferze wiadomości istnieje określony styl pisania. Zatem model uczy się nie tylko semantyki, ale także podstawowej struktury tego, jak należy układać zdania, aby wpasować się w określony styl danej dziedziny” – wyjaśnia Chantal Shaib, współautorka badań z MIT i Northeastern University.

Czytaj więcej

Technologie

Co dziesiąty wystąp! Badacze MIT ujawniają, ilu pracowników już dziś może zastąpić AI

Sztuczna inteligencja już dziś jest w stanie realizować zadania wykonywane przez niemal 11,7 proc...

Ponieważ modele LLM uczą się kojarzyć szablony składniowe z określonymi dziedzinami, mogą w związku z tym niepoprawnie opierać się wyłącznie na tym wyuczonym skojarzeniu, zamiast na dokładnym zrozumieniu pytania.

Przykładowo mogą nauczyć się, że pytanie takie jak „Gdzie jest położony Paryż?” (“Where is Paris located?”) ma w języku angielskim strukturę: przysłówek/czasownik/rzeczownik/czasownik. W konsekwencji model LLM może kojarzyć ten szablon składniowy z pytaniami dotyczącymi krajów. Jeśli

Skąd biorą się błędy w odpowiedziach modeli LLM? Wnioski naukowców

Naukowcy zbadali to zjawisko, prowadząc różnego rodzaju eksperymenty, w których w danych treningowych modelu dla każdej dziedziny pojawiał się tylko jeden szablon składniowy. Słowa zastępowano synonimami, antonimami lub losowymi wyrazami, zachowując tę samą składnię. W każdym przypadku modele LLM często odpowiadały według wyuczonych schematów, nawet jeśli pytanie było kompletnym nonsensem. Kiedy zmieniali strukturę tego samego pytania, używając nowego wzorca części mowy, modele LLM w wielu przypadkach nie były w stanie udzielić poprawnej odpowiedzi, mimo że podstawowe znaczenie pytania pozostało takie samo.

Zespół użył tej metody do przetestowania wstępnie przeszkolonych modeli LLM, takich jak GPT-4 i Llama i odkrył, że tego typu zachowanie znacząco obniżyło ich wydajność.

Czytaj więcej

Dane osobowe

Wygenerowali zdjęcie nagiej koleżanki. Organy ścigania: to nie było przestępstwo

Prezes Urzędu Ochrony Danych Osobowych interweniuje u Prokuratora Generalnego Waldemara Żurka w s...

„To przeoczony typ skojarzenia, którego model uczy się, aby poprawnie odpowiadać na pytania. Powinniśmy zwracać większą uwagę nie tylko na semantykę, ale także na składnię danych, których używamy do szkolenia naszych modeli” – mówi Chantal Shaib, współautorka badań.

Według naukowców tego typu wada może zmniejszać niezawodność modeli LLM, które wykonują zadania takie jak obsługa zapytań klientów, podsumowywanie notatek klinicznych czy generowanie raportów finansowych.

Jakie zagrożenie niosą błędy modeli LLM? Jak im zaradzić?

Jak się okazało, błędne odczytywanie zapytań może również stwarzać zagrożenia bezpieczeństwa. Badacze sprawdzili, czy ktoś mógłby wykorzystać tę wadę, by wywołać szkodliwe odpowiedzi w modelu LLM, który został celowo przeszkolony do odrzucania takich żądań.

Naukowcy odkryli, że poprzez sformułowanie pytania przy użyciu szablonu składniowego, który model kojarzy z „bezpiecznym” zbiorem danych, mogli oszukać model, aby zignorował swoją politykę odmowy i wygenerował szkodliwe treści.

Czytaj więcej

Globalne Interesy

Oto największy beneficjent boomu AI. Nie są to wcale big techy

Wyspa, który boryka się z ciągłym zagrożeniem militarnym ze strony Chin i niepewnością handlową z...