Szerokie zastosowanie algorytmów, możliwość ich łączenia się oraz autonomiczność powodują, że posiadają one duży potencjał w zakresie ich wykorzystania. Z drugiej strony mogą stanowić bardzo poważne ryzyko dla osób, które mają z nimi styczność. Mając na uwadze, że algorytmy mogą być wykorzystywane przez organy ścigania, do wspomagania usług transportu czy w zakresie edukacji, istnieje wysokie ryzyko szkody, jeżeli systemy SI zawiodą. Przy braku regulacji, jakie systemy mogą być wykorzystywane i w jaki sposób, należy je monitorować oraz zapewnić ich stałe i prawidłowe funkcjonowanie, powstaje niepewność co do obowiązków podmiotów odpowiedzialnych za algorytmy.
Komisja we wniosku dotyczącym rozporządzenia ustanawiającego zharmonizowane przepisy dotyczące sztucznej inteligencji (Akt w sprawie sztucznej inteligencji) z dnia 21 kwietnia 2021 r. przedstawiła propozycję rozwiązania odnoszącą się do powyższych problemów. Akt w sprawie SI stanowił również kontynuację postulatów Parlamentu Europejskiego, który w licznych Rezolucjach wzywał do unormowania kwestii związanych z obecnością SI na rynku unijnym.
W szczególności Parlament wyróżnił w swoich propozycjach legislacyjnych algorytm „wysokiego ryzyka”. „Wysokie ryzyko” ma oznaczać potencjalną możliwość losowego wyrządzenia szkody przez system SI w taki sposób, że wykracza to poza okoliczności, jakich można by racjonalnie oczekiwać. Jest to dodatkowo uzależnione od „(…) wzajemnego powiązania między powagą ewentualnej szkody, stopniem autonomiczności w podejmowaniu decyzji, prawdopodobieństwem, że zagrożenie rzeczywiście wystąpi, oraz sposobem i kontekstem użycia systemu sztucznej inteligencji” (Rezolucja Parlamentu Europejskiego z dnia 20 października 2020 r.).
Akt w sprawie sztucznej inteligencji kontynuuje tym samym zapoczątkowane przez Parlament propozycje, proponując podzielenie systemu SI na poszczególne kategorie mające na celu identyfikację, jakie ryzyko dany algorytm może stanowić dla społeczeństwa. W zależności od potencjalnego stopnia zagrożenia Komisja przydziela zakres obowiązków określonym osobom odpowiedzialnym za algorytm mający zapewnić jego poprawne działanie.
Pierwszą kategorią, która jest określona w Akcie w sprawie sztucznej inteligencji jest kategoria systemów niedopuszczalnych. Są to systemy wykorzystujące techniki podprogowe lub dowolne słabości osób w celu niebezpiecznego zniekształcenia zachowania osoby, które może doprowadzić do szkody. Do tej kategorii zaliczane są również systemy SI, które mają dokonywać oceny ludzi na podstawie ich zachowania i charakteru w sposób, który może doprowadzić do niesprawiedliwego traktowania takich osób. Komisja Europejska uznaje, że wykorzystywanie systemów tego rodzaju powinno być niedopuszczalne ze względu na szkodę, którą mogą wywołać. Zgodnie ze stanowiskiem prezentowanym w uzasadnieniu do Aktu w sprawie SI, systemy wysokiego ryzyka stanowią zdaniem Komisji zagrożenie dla podstawowych praw człowieka z wysokim potencjałem do manipulowania ludźmi.