AI przestaje tylko odpowiadać, zaczyna działać za ludzi. I tu pojawił się problem

Eksperci zwracają uwagę, że dziś rynek agentów AI rośnie szybciej niż mechanizmy bezpieczeństwa, a to rodzi uzasadnione obawy. O skutkach niewłaściwie wyznaczonych granic działania przypomniały incydenty ujawnione niedawno przez OpenAI i Anthropic, w których ich narzędziom AI podczas zadań testowych udało się dostać do systemów innych firm. Te modele konsekwentnie poszukiwały drogi do realizacji celu i łączyły wiele działań w sekwencje, które nie były wcześniej przewidziane. Analitycy ostrzegają: Podobny mechanizm może wystąpić w zwykłym procesie biznesowym – agent otrzymujący ogólne polecenie może zdecydować się na zmianę danych w systemie, przyznanie rabatu, wysłanie wiadomości lub pobranie dodatkowych dokumentów.

Boom na agentową sztuczną inteligencję

Choć, jak wynika z najnowszych badań, tylko 17 proc. przedsiębiorstw wdrożyło dotychczas agentów AI, to ponad 60 proc. ankietowanych zamierza zrobić to w ciągu najbliższych dwóch lat. Gartner prognozuje, że tylko do końca br. wyspecjalizowane agenty będą zintegrowane nawet z 40 proc. aplikacji biznesowych (rok wcześniej było to mniej niż 5 proc.). Technologia ta błyskawicznie przechodzi więc z etapu eksperymentów do codziennych procesów firm. Problem w tym, że agent AI nie tylko analizuje dane i przygotowuje odpowiedzi, ale korzysta z poczty, dokumentów, baz klientów, systemów finansowych i firmowej infrastruktury. W przeciwieństwie do klasycznych chatbotów nie ogranicza się do przygotowania odpowiedzi, lecz samodzielnie planuje kolejne kroki, korzysta z zewnętrznych narzędzi i wykonuje operacje prowadzące do realizacji zadanego celu. Jak tłumaczy ekspert ds. cyberbezpieczeństwa Paweł Kulpa z Safesqr, firmy powinny mieć świadomość, jakie uprawnienia mają ich agenty AI.

– Taki agent może otrzymać dostęp do poczty elektronicznej, kalendarza, repozytorium kodu, systemu CRM, dokumentów przechowywanych w chmurze, aplikacji księgowej czy firmowej bazy danych, może przeczytać wiadomość, pobrać dokument, zmienić rekord klienta, uruchomić skrypt, wysłać odpowiedź albo złożyć zamówienie – wylicza. I zaznacza, że ta zdolność do działania stanowi z jednej strony największą wartość agentów, a jednocześnie niesie szereg potencjalnych zagrożeń.

Skala ryzyk będzie tylko rosnąć. Szacuje się, iż światowe wydatki na modele i platformy sztucznej inteligencji mają w 2026 r. osiągnąć niemal 65 mld dol., a to o blisko dwie trzecie więcej niż rok wcześniej (przy czym same wydatki na modele generatywne skoczą o 117 proc.). Analitycy Gartnera przekonują, że agenty AI to, pod względem dynamiki, technologia o najbardziej agresywnej ścieżce adopcji. Tempo zmian dobrze pokazuje również rynek oprogramowania – Gartner prognozuje, że do końca br. nawet 40 proc. aplikacji dla przedsiębiorstw będzie zawierało agenty wyspecjalizowane w realizacji określonych zadań.

Czytaj więcej

IT

Firmy toną w technologiach. AI ma rozwiązać rosnący problem

Więcej technologii nie zawsze oznacza większe bezpieczeństwo. Przeciętna firma korzysta już z 83 rozwiązań związanych z cyberbezpieczeństwem, a pon...

Granice uprawnień dla AI

Takie agentowe systemy zwiększają automatyzację, ale też liczbę połączeń, uprawnień i potencjalnych punktów podatnych na nadużycia. Przy czym agent nie musi mieć złych zamiarów, aby wywołać incydent – otrzymujący ogólne polecenie może zdecydować się na zmianę danych w systemie, przyznanie rabatu, wysłanie wiadomości lub pobranie dodatkowych dokumentów. Jeżeli jego uprawnienia nie są ograniczone, zakres działań może być szerszy niż zakładał pracownik formułujący polecenie.

– Agent AI nie powinien korzystać z konta i pełnych uprawnień pracownika. Należy utworzyć dla niego odrębną tożsamość techniczną oraz przyznać dostęp wyłącznie do danych i funkcji potrzebnych do wykonania konkretnego zadania. W praktyce powinien działać zgodnie z zasadą najmniejszych uprawnień, najlepiej z wykorzystaniem uprawnień okresowych, które wygasają po zakończeniu zadania – radzi Paweł Kulpa.

Jego zdaniem podłączenie agenta do istniejącego konta użytkownika jest wygodne, ale może tworzyć problemy, bo system otrzymuje wówczas wszystkie uprawnienia, nawet jeżeli do wykonania zadania potrzebuje jedynie ich części. Utrudnia to także analizę ewentualnego incydentu. W logach może być widoczna aktywność przypisana do pracownika, mimo że operacje zostały wykonane przez agenta. Eksperci mówią więc wprost: bezpieczniejszym rozwiązaniem jest przyznanie agentowi własnej tożsamości, osobnych danych uwierzytelniających i dokładnie zdefiniowanej roli.

Szczególnego nadzoru wymagają agenty korzystające jednocześnie z wielu aplikacji – pojedyncze uprawnienia mogą wydawać się bezpieczne, ale połączenie wielu umożliwia zbudowanie nieprzewidzianej sekwencji działań. Agent mający dostęp do poczty, dysku i systemu CRM może np. znaleźć dane dostępowe w dokumencie, wykorzystać je w kolejnej aplikacji, a następnie przesłać pozyskane informacje w wiadomości.

Czytaj więcej

AI

Incydent w OpenAI nie był taki niewinny. Uciekająca AI to poważne ostrzeżenie

Podczas testów nowego modelu sztuczna inteligencja wydostała się z zamkniętego środowiska i znalazła drogę do zewnętrznych systemów jednej z firm....

– Nie chodzi o to, aby człowiek zatwierdzał każdy krok agenta, ważne jest jednak określenie progów ryzyka. Przykładowo AI może samodzielnie przygotować propozycję wiadomości, ale jej wysłanie do klienta powinno wymagać akceptacji. Może wskazać zmianę konfiguracji, ale nie powinna jej automatycznie wdrażać bez zgody nadzorującego człowieka. Istotne jest, aby przeszkolić także osoby nadzorujące AI, aby nie akceptowały z automatu wszystkich propozycji AI, a także aby w przypadkach wątpliwych dopytywały agenta o przesłanki prowadzące AI do określonych wyników i rekomendacji – wyjaśnia Kulpa. – Dodatkowa, niezależna autoryzacja powinna także obowiązywać w przypadku operacji finansowych, usuwania danych lub nadawania uprawnień. Co ważne, taki mechanizm zatwierdzający powinien działać poza samym modelem, aby agent nie mógł go ominąć – kontynuuje.

Monitoring, limity i luka w strategiach

Kontrola dostępu może ograniczyć potencjalne skutki incydentu, ale nie zastąpi monitoringu. Organizacja powinna mieć możliwość odtworzenia całej sekwencji działań, jakie polecenie otrzymał agent, z jakich danych skorzystał, do których aplikacji się połączył, jakie operacje zaproponował i rzeczywiście wykonał. Powinny być rejestrowane takie działania jak wywołania narzędzi, zakres przekazywanych danych, wykorzystane tożsamości, decyzje dotyczące autoryzacji i kolejne operacje wykonane w różnych systemach. Ponieważ agent nie powinien wykonywać nieograniczonej liczby prób logowania, przesyłać dowolnej ilości danych ani pracować bez końca nad jednym zadaniem, warto także ustalić limity. Eksperci wskazują, że firma powinna ustalić maksymalny czas działania, liczbę operacji, wartość transakcji, zakres eksportu danych i listę dozwolonych odbiorców.

– Każde wdrożenie powinno zapewniać pełny ślad działań agenta oraz możliwość jego natychmiastowego zatrzymania. Firma musi widzieć nie tylko końcowy rezultat, lecz także użyte narzędzia, dane i decyzje autoryzacyjne. Jeżeli agent zaczyna wykonywać nietypową serię czynności albo wielokrotnie próbuje ominąć ograniczenie, system powinien automatycznie przerwać proces i przekazać sprawę człowiekowi – komentuje ekspert ds. cyberbezpieczeństwa z Safesqr.

Czytaj więcej

AI

Wymykają się spod kontroli, są sprytne i kreatywne. Nowy problem z AI

Autonomiczne agenty sztucznej inteligencji potrafią omijać zabezpieczenia, ujawniać poufne dane, manipulować innymi systemami AI oraz działać na sz...

Ale biznes ma problem nie tylko z agentową AI. Wyzwaniem są też ogólnodostępne, darmowe narzędzia AI, z których, jak wynika z raportu PARP i Uniwersytetu Jagiellońskiego, korzysta 64 proc. polskich przedsiębiorstw. Jednocześnie tylko 38 proc. deklaruje, że ma politykę określającą zasady przekazywania danych narzędziom sztucznej inteligencji. Tomasz Krajewski, dyrektor techniczny sprzedaży na Europę Wschodnią w firmie Veeam, przekonuje, że to pokazuje lukę między skalą wykorzystania AI a zdolnością firm do nadzorowania używanych rozwiązań i przetwarzanych przez nie danych.

– Tylko 32 proc. firm wykorzystujących AI lub rozważających jej wdrożenie prowadzi działania albo tworzy plany strategiczne obejmujące tę technologię. Gdy wykorzystanie AI nie jest objęte wspólną strategią i zasadami, członkowie zespołu mogą traktować narzędzia sztucznej inteligencji przede wszystkim jako sposób na szybsze wykonanie zadania. Z perspektywy firmy oznacza to jednak, że kolejny zewnętrzny system otrzymuje dostęp do jej danych, mimo że nikt wcześniej nie ocenił związanego z tym ryzyka – tłumaczy Krajewski.

Jak podkreśla, powstaje luka zaufania, która pogłębia się, gdy firmy wdrażają AI szybciej, niż tworzą mechanizmy zapewniające odpowiedni nadzór nad wykorzystywanymi rozwiązaniami i przetwarzanymi przez nie danymi. W efekcie korzystają z coraz większej liczby narzędzi, nie mając pewności, czy działają one zgodnie z przyjętymi zasadami i wykorzystują wiarygodne dane.