David Robinson, odpowiedzialny za przygotowywanie raportów dotyczących bezpieczeństwa w OpenAI, zrezygnował z pracy, zarzucając firmie niewłaściwą kulturę organizacyjną i niewystarczającą ostrożność przy rozwijaniu sztucznej inteligencji.
Odejście Robinsona to już kolejny przypadek, gdy osoba związana z branżą AI publicznie ostrzega przed zagrożeniami wynikającymi z szybkiego rozwoju tej technologii.
David Robinson odchodzi z OpenAI. Ostrzega przed kulturą organizacyjną firmy
David Robinson swoją decyzję o rezygnacji ze stanowiska wyjaśnił w tekście opublikowanym w magazynie „The Atlantic”, zatytułowanym „Odszedłem z OpenAI, ponieważ kultura organizacyjna firmy jest zepsuta”.
Jak ocenił mężczyzna, przedsiębiorstwa rozwijające najbardziej zaawansowane systemy sztucznej inteligencji potrzebują gruntownych zmian w sposobie funkcjonowania. Jego zdaniem firmy technologiczne nie zachowują wystarczającej ostrożności, a tempo rozwoju nowych systemów sprawia, że kwestie bezpieczeństwa nie są traktowane z należytą uwagą.
„Zgadzam się z innymi pracownikami, którzy niedawno odeszli, że firmy tworzące tę technologię nie zachowują nawet w przybliżeniu wystarczającej ostrożności. Uważam jednak, że musimy spojrzeć głębiej niż tylko na konkretne przepisy czy nowe regulacje prawne. Musimy porozmawiać o kulturze organizacyjnej” – napisał Robinson.
Były pracownik OpenAI zwrócił uwagę, że przedsiębiorstwo koncentruje się na szybkim wprowadzaniu kolejnych produktów, nie zapewniając przy tym – w jego ocenie – odpowiedniego poziomu bezpieczeństwa. „Pędząc od jednej premiery do następnej, firma nie osiąga poziomu ostrożności, który uważam za niezbędny” – podkreślił.
Czytaj więcej
Caitlin Kalinowski, szefowa robotyki OpenAI rzuciła papierami. Menedżerka odchodzi po fali krytyki związanej z kontraktem z Pentagonem, który ma wp...
Incydent z udziałem agentów AI. OpenAI wstrzymuje rozwój najbardziej zaawansowanych modeli
Jednym z przykładów przywołanych przez Robinsona był incydent, w którym grupa autonomicznych agentów OpenAI przeprowadziła atak na startup Hugging Face. Chodzi o programy wykorzystujące sztuczną inteligencję, które mogą samodzielnie wykonywać zadania bez bezpośredniego nadzoru człowieka. Robinson stwierdził, że podobne zdarzenia mają miejsce w całej branży.
W ostatnich tygodniach – po tym zdarzeniu – OpenAI podjęło jednak działania wskazujące na większą ostrożność. Po incydencie dotyczącym Hugging Face ujawniono, że przedsiębiorstwo powiadomiło ponad 100 organizacji o niekontrolowanej aktywności agentów sztucznej inteligencji.
W tym tygodniu firma poinformowała również o rezygnacji z udostępnienia modelu AI nowej generacji. Decyzję podjęto po tym, jak podczas wewnętrznych testów naukowcy zgłosili zastrzeżenia dotyczące jego bezpieczeństwa. OpenAI wstrzymało ponadto szkolenie swoich najbardziej zaawansowanych modeli.
Eksperci ostrzegają przed zagrożeniami związanymi z rozwojem sztucznej inteligencji
Robinson nie jest jedyną osobą związaną z branżą technologiczną, która w ostatnim czasie publicznie wyraziła obawy dotyczące rozwoju sztucznej inteligencji.
W sobotę do podobnych ostrzeżeń dołączył Geoffrey Irving, który wcześniej pracował w OpenAI i DeepMind, a obecnie pełni funkcję głównego naukowca w firmie Resolution. Ocenił on, że dotychczasowe ostrzeżenia dotyczące potencjalnie destrukcyjnych możliwości sztucznej inteligencji nie oddają rzeczywistej skali zagrożenia. – Uważam, że istnieje prawdopodobieństwo około 50 proc., że wszyscy zginiemy w wyniku rozwoju systemów sztucznej inteligencji przewyższających człowieka pod względem inteligencji, a nasze działania w ciągu najbliższych dwóch do dziesięciu lat zdecydują o tym, co się wydarzy – podkreślił.
Podobne obawy wyraził Jacob Coxon, badacz zatrudniony wcześniej w konkurencyjnej wobec OpenAI firmie Anthropic, która rozwija chatbota Claude. Mężczyzna zrezygnował z pracy w ubiegłym miesiącu, ostrzegając, że sztuczna inteligencja może doprowadzić do śmierci całej ludzkości jeszcze przed końcem obecnej dekady. Po jego odejściu Anthropic ostrzegło, że prawdopodobieństwo wyginięcia ludzkości w wyniku rozwoju AI w ciągu najbliższych dziesięciu lat przekracza 10 proc.
Tego rodzaju prognozy budzą jednak kontrowersje – ich krytycy zwracają bowiem uwagę, że przedstawiane szacunki nie mają charakteru naukowego. Obecnie nie można sprawdzić, czy są prawdziwe, ani wykazać, że są błędne. Podawane wartości w proc. są ocenami zagrożenia formułowanymi przez poszczególnych ekspertów lub firmy, a nie naukowo potwierdzonymi wyliczeniami prawdopodobieństwa.
Czytaj więcej
Trzech pracowników OpenAI straciło pracę po wewnętrznym dochodzeniu dotyczącym poufnych informacji. Firma uznała, że naruszyli obowiązujące procedu...
David Robinson: Branża technologiczna musi zmienić podejście do bezpieczeństwa AI
W swoim tekście Robinson zwrócił uwagę na szerszy problem dotyczący kultury organizacyjnej przedsiębiorstw z Doliny Krzemowej. Jego zdaniem branży technologicznej brakuje odpowiedniej wiedzy o tym, jak postępować z niebezpiecznymi technologiami i co w praktyce oznacza troska o bezpieczeństwo ludzi.
Były pracownik OpenAI skrytykował również panujące w przedsiębiorstwie przekonanie, że pojawiające się problemy będzie można rozwiązywać na bieżąco. Określił takie podejście jako nieograniczony optymizm i ostrzegł, że wraz ze wzrostem możliwości systemów sztucznej inteligencji konsekwencje zaniedbań dotyczących bezpieczeństwa mogą stawać się coraz poważniejsze.
Aby zobrazować potencjalne zagrożenia, Robinson przedstawił scenariusz, w którym autonomiczne systemy AI mogłyby działać podobnie do zorganizowanych grup cyberprzestępców. „Wyobraźmy sobie niekontrolowanych agentów, którzy działają jak zespoły hakerów, na przykład żądając okupu za odblokowanie systemów komputerowych szpitali, ale nigdy nie muszą spać” – napisał.
Robinson zaznaczył, że problem nie ogranicza się do opracowania kolejnych regulacji prawnych. Jego zdaniem konieczna jest przede wszystkim zmiana sposobu funkcjonowania przedsiębiorstw odpowiedzialnych za rozwój najbardziej zaawansowanych systemów sztucznej inteligencji.
Jak zapewnić bezpieczeństwo AI? Były pracownik OpenAI wskazuje dwa rozwiązania
Robinson zaproponował dwa kierunki zmian, które jego zdaniem mogłyby ograniczyć zagrożenia związane z rozwojem sztucznej inteligencji.
Pierwszy zakłada wykorzystanie doświadczeń i wiedzy ekspertów zajmujących się bezpieczeństwem w innych branżach, w szczególności w energetyce jądrowej i lotnictwie. Są to sektory, w których nawet pojedynczy błąd człowieka może prowadzić do poważnych konsekwencji, dlatego stosuje się w nich rozbudowane procedury bezpieczeństwa.
„Biorąc pod uwagę obecne zagrożenia, laboratoria rozwijające najbardziej zaawansowane systemy AI muszą działać jak elektrownie jądrowe lub ruchliwe lotniska, z wieloma niezależnymi zabezpieczeniami oraz starannym, czasochłonnym planowaniem, tak aby sporadyczny i nieunikniony błąd człowieka nie otwierał drogi do katastrofy” – czytamy.
Drugim proponowanym rozwiązaniem jest rozwój nowych metod naukowych, które pozwolą zagwarantować, że przyszłe, bardziej zaawansowane systemy sztucznej inteligencji będzie można skutecznie kontrolować również wtedy, gdy będą działały autonomicznie, bez bezpośredniego nadzoru człowieka.
Zdaniem Robinsona oba działania są niezbędne, aby firmy technologiczne mogły odpowiedzialnie rozwijać coraz bardziej zaawansowane modele AI.
Czytaj więcej
Były sekretarz skarbu USA Larry Summers zrezygnował z zasiadania w zarządzie OpenAI, twórcy ChatGPT, po tym, jak Kongres ujawnił dokumenty pokazują...
OpenAI odpowiada na zarzuty dotyczące bezpieczeństwa
Do ostrzeżeń byłego pracownika odniósł się rzecznik OpenAI. Zapewnił, że przedsiębiorstwo nadal wzmacnia stosowane procedury bezpieczeństwa, aby ograniczać zarówno obecne zagrożenia, jak i te, które mogą pojawić się w wyniku przyszłych przełomów technologicznych.
– Dbamy o to, aby możliwości naszych modeli nie przekroczyły poziomu, na którym jesteśmy w stanie bezpiecznie nimi zarządzać i zapewnić ich ochronę. Kiedy musimy zwolnić tempo, wstrzymujemy szkolenie lub opóźniamy udostępnienie modeli – przekazał rzecznik firmy.
