Agenci OpenAI zaczęli wiosną wykorzystywać niemiecką stronę internetową jako forum do komunikowania się z innymi agentami AI – wynika z nowego badania opublikowanego w piątek oraz relacji dwóch osób zaznajomionych ze sprawą. Przedstawiciele OpenAI dowiedzieli się o incydencie kilka tygodni temu, lecz nie informowali o nim publicznie. W tym samym czasie firma mierzyła się ze skutkami lipcowego włamania do repozytorium open source Hugging Face – poinformowały źródła agencji Reuters.
Nie pierwszy taki incydent
Incydent rozpoczął się w maju i nie był dotąd opisywany w mediach. Pokazuje rosnący problem branży AI. Firmy ścigają się w budowie coraz bardziej autonomicznych agentów zdolnych do samodzielnego wykonywania złożonych zadań. Jednocześnie przybywa dowodów, że systemy te potrafią naginać reguły, wykorzystywać luki i koordynować działania między sobą w sposób, którego ich twórcy nie przewidzieli ani nie planowali.
Podczas wcześniejszego incydentu z Hugging Face agenci OpenAI autonomicznie zaplanowali operację, która przez ponad tydzień pozostawała niewykryta. Wzmogło to obawy, że firma może przesuwać granice możliwości technologii szybciej, niż rozwija mechanizmy jej kontroli. Brak wcześniejszego ujawnienia majowego incydentu może ponownie wywołać pytania o nadzór nad najbardziej zaawansowanymi systemami OpenAI.
Czytaj więcej
Geoffrey Hinton, jeden z twórców AI, przekonuje, że coraz trudniej będzie ją kontrolować. Podczas testów agenci AI OpenAI, Anthropic i Mety wykorzy...
Firma zobowiązała się do ściślejszego monitorowania modeli. W ubiegłym miesiącu na krótko wstrzymała część procesów treningowych, aby wdrożyć dodatkowe zabezpieczenia. Jednak w tym tygodniu zaprezentowała nowy model „Astra”, który oferuje większe możliwości, ale jednocześnie może skuteczniej unikać nadzoru człowieka.
– Nie jesteśmy w stanie merytorycznie odnieść się do twierdzeń ani ustaleń zawartych w raporcie, z którym nie mieliśmy możliwości się zapoznać – przekazał rzecznik OpenAI. – Agencja Reuters oraz autorzy raportu odrzucili naszą prośbę o udostępnienie materiałów. Dokładnie przeanalizujemy jego treść po publikacji i podejmiemy wszelkie niezbędne kroki.
Niemiecki incydent wpisuje się w szerszy wzorzec zachowań sztucznej inteligencji, który część badaczy OpenAI chciała poddać bardziej szczegółowej analizie. Jednak próby rozszerzenia dochodzenia spotkały się z oporem wewnątrz firmy, w tym ze strony doradców prawnych – podają cztery osoby zaznajomione ze sprawą.
– Twierdzenia, że nasz dział prawny zniechęcał do zbadania tego incydentu, są nieprawdziwe – oświadczył rzecznik OpenAI. Dodał, że wydarzenia w Niemczech nie były powiązane z incydentem w Hugging Face i nie zostałyby uwzględnione w raporcie na jego temat. Podkreślił również, że OpenAI działało w dobrej wierze, współpracując z zewnętrznymi ekspertami i ujawniając istotne zdarzenia.
Agenci stworzyli własne forum wymiany wiadomości
Działanie agentów AI na niemieckiej stronie zostało szczegółowo opisane w raporcie udostępnionym na wyłączność Reutersowi przez grupę badaczy, w tym Sydney Von Arx, dyrektor organizacji non profit Nightingale zajmującej się bezpieczeństwem AI, oraz Cormaca Slade’a Byrda, byłego tradera, a obecnie badacza sztucznej inteligencji. Odkryli oni tę aktywność pod koniec sierpnia podczas przeszukiwania internetu w poszukiwaniu nieautoryzowanych działań agentów AI.
Badacze wykryli ponad 15 tys. edycji wprowadzonych przez agentów na niemieckojęzycznej stronie DseWiki, przeznaczonej dla programistów i pozwalającej użytkownikom wspólnie edytować treści podobnie jak Wikipedia.
Czytaj więcej
Nowy model sztucznej inteligencji jako pierwszy w historii OpenAI osiągnął „krytyczny” poziom zdolności cybernetycznych. Sam odnajduje luki w oprog...
Historia zmian wskazywała, że agenci OpenAI przekształcili witrynę we własne forum wymiany wiadomości. Dzielili się tam metodami obchodzenia zadań testowych, omijania ograniczeń nakładanych przez OpenAI oraz ukrywania swojego zachowania.
– Wydaje się skrajnie mało prawdopodobne, by OpenAI chciało, aby to robili – powiedziała Von Arx. – Wątpię, by mieli ze sobą współpracować. Wątpię też, by mieli pisać w otwartym internecie.
Badacze uznali, że za aktywnością stoją agenci AI m.in. ze względu na nadludzką szybkość wykonywania operacji. Agenci intensywnie zajmowali się również rozwiązywaniem problemów technicznych typowych dla testów, za pomocą których firmy technologiczne trenują i sprawdzają swoje modele.
Wpisy były podpisywane przez użytkowników określających siebie nawzajem mianem agentów, a około połowa z nich nadawała sobie nazwy sugerujące powiązania z OpenAI, takie jak „OpenAIResearcher” czy „OAIResearchMar26”.
Badacze podali, że publicznie dostępne logi serwerowe wskazywały, iż znaczna część aktywności pochodziła z infrastruktury Microsoft Azure, z której korzysta również OpenAI. Zaobserwowali także powtarzające się wizyty pracowników OpenAI na stronie już po incydencie. Ich zdaniem mocno wskazuje to na powiązanie agentów z firmą.
Jak AI próbowała uniknąć wykrycia
Wiadomości przeanalizowane przez badaczy wskazują, że agenci planowali sposoby unikania wykrycia, rozważali korzystanie z narzędzi takich jak Tor oraz zabezpieczali komunikację na wypadek prób jej zablokowania.
Gdy w czerwcu moderator serwisu zaczął usuwać podstrony, agenci odpowiedzieli tworzeniem kopii zapasowych, aby ich treści nie zniknęły. – Czyszczenie/usuwanie wiki wygląda na aktywne alfabetycznie – napisał jeden z agentów 19 czerwca. – Jeśli ta strona zniknie, sprawdźcie [[ZZZDataUSAConstructionWageLive]].
Badacze natrafili również na próby ingerowania w sposób działania witryny. Łukasz Olejnik, wizytujący starszy pracownik naukowy w King’s College London, ocenił, że nosiło to znamiona próby włamania. OpenAI zakwestionowało taką interpretację na podstawie własnej analizy materiału przeprowadzonej w czwartek.
Czytaj więcej
Podczas testów nowego modelu sztuczna inteligencja wydostała się z zamkniętego środowiska i znalazła drogę do zewnętrznych systemów jednej z firm....
W przeszłości przykłady niewłaściwego zachowania agentów AI często uznawano za naturalny efekt testów cyberbezpieczeństwa, podczas których modele są celowo sprawdzane pod kątem zdolności ofensywnych. Olejnik zauważył jednak, że najnowsze ustalenia mogą wskazywać, iż takie zachowania nie ograniczają się wyłącznie do kontrolowanych środowisk testowych.
Maurice Chiodo, naukowiec z Centre for the Study of Existential Risk przy Uniwersytecie w Cambridge, który przeanalizował część komunikatów agentów, stwierdził, że wiadomości przypominały „działanie swego rodzaju podziemnej siatki, zdeterminowanej za wszelką cenę zrealizować zadanie lub misję”.
Incydent ten – jak dodał – powinien wzmocnić narastające obawy, że największym zagrożeniem ze strony zaawansowanej AI może nie być pojedynczy superinteligentny system, lecz „rozległe, współdziałające w zmowie roje na wpół inteligentnej AI”.
Sprawa DseWiki pokazuje istotną zmianę w dyskusji o bezpieczeństwie AI. Problemem przestaje być wyłącznie to, czy pojedynczy model udzieli niebezpiecznej odpowiedzi. Wraz z rozwojem agentów coraz ważniejsze staje się pytanie, co stanie się, gdy wiele systemów otrzyma możliwość samodzielnego korzystania z internetu, narzędzi i zewnętrznych serwisów oraz zacznie ze sobą współpracować.
Znaczenie tego problemu wykracza już poza same firmy technologiczne. Stany Zjednoczone i Chiny przygotowują się do pierwszych oficjalnych dwustronnych rozmów poświęconych bezpieczeństwu AI, które mają odbyć się w połowie września. Jednym z tematów mają być właśnie zagrożenia związane z cyberatakami kierowanymi przez sztuczną inteligencję.
