Policyjne algorytmy to rasiści. Stygmatyzują na całe życie

Programy służące do wychwytywania niebezpiecznych sytuacji na przykład z kamer monitoringu zazwyczaj wybierają na potencjalnych przestępców osoby o innym niż biały kolorze skóry.

Kolejne badania pokazują, że tego typu algorytmy choć coraz częściej stosowane przez policję czy inne służby utrwalają systemowy rasizm. Algorytmy lokalizacyjne wykorzystują powiązania między miejscami, wydarzeniami i historycznymi wskaźnikami przestępczości, aby przewidzieć, gdzie i kiedy przestępstwa są bardziej prawdopodobne – na przykład w określonych warunkach pogodowych lub podczas dużych wydarzeń sportowych.

Czytaj także: Koncerny z USA zabraniają policji używania ich technologii

Narzędzia identyfikują gorące punkty, a policja planuje patrole wokół wskazanych przez algorytmy miejsc. Jeden z najpopularniejszych, o nazwie PredPol, z którego korzystają dziesiątki miast w USA, dzieli lokalizacje na bloki o wymiarach 500 na 500 stóp i aktualizuje swoje prognozy w ciągu dnia – rodzaj prognozy pogody dla przestępstw.

Inne narzędzia opierają się na danych o osobach, takich jak wiek, płeć, stan cywilny, historia nadużywania substancji odurzających i naruszeń prawa, aby przewidzieć, kto ma duże prawdopodobieństwo udziału w przyszłej działalności przestępczej.

Te narzędzia oparte na danych osobowych mogą być wykorzystywane przez policję do interwencji przed popełnieniem przestępstwa lub przez sądy w celu ustalenia podczas przesłuchań przedprocesowych lub orzeczenia wyroku, czy osoba, która została aresztowana, prawdopodobnie ponownie popełni przestępstwo.

Czytaj także: IBM rezygnuje z technologii rozpoznawania twarzy. Bo wspiera rasizm

Na przykład narzędzie o nazwie COMPAS, używane w wielu miastach do podejmowania decyzji o przedprocesowym zwolnieniu i skazaniu, podaje wynik statystyczny od 1 do 10, aby określić ilościowo, jak prawdopodobne jest ponowne aresztowanie osoby w przypadku zwolnienia.

Jak zwracają uwagę krytycy takiego rozwiązania problem tkwi w danych, z których korzystają algorytmy. Po pierwsze, algorytmy predykcyjne są łatwo wypaczane przez wskaźniki aresztowań. Według danych Departamentu Sprawiedliwości USA prawdopodobieństwo aresztowania jest ponad dwa razy większe, jeśli osoba jest czarnoskóra niż jeśli ma białą skórę. Prawdopodobieństwo zatrzymania osoby z mniejszości etnicznych bez uzasadnionej przyczyny jest pięć razy większe niż osoby białej.

Zwraca na to uwagę choćby organizacja Data for Black Lives, zajmująca się prawami cyfrowymi. Według danych organizacji osoby nieletnie, zatrzymywane przez policję w efekcie wskazań algorytmów lub podczas nieproporcjonalnie szerokich interwencji później, były potem przez całe życie wystawiane na ocenę z powodu historii aresztowania.

Czytaj także: SI ma ciągotki do rasizmu i homofobii

Tego typu oceny są częścią systemu wymiaru sprawiedliwości w sprawach karnych od dziesięcioleci. Policja i sądy częściej wykorzystywały zautomatyzowane narzędzia w ciągu ostatnich kilku lat choćby z powodu cięć budżetowych. Panowało też przekonanie, że są one bardziej obiektywne niż ludzie.

Jednak coraz więcej dowodów sugeruje, że ludzkie uprzedzenia zostały wpisane w te narzędzia, ponieważ modele uczenia maszynowego są szkolone w oparciu o stronnicze dane policyjne. Dalekie od unikania rasizmu, mogą po prostu lepiej go ukrywać.

– Dopiero w ciągu ostatnich kilku lat opinie ludzi na temat tych narzędzi zmieniły się – mówi Alice Xiang, prawniczka i analityk danych, która prowadzi badania w Partnerstwie na rzecz AI. – Najpierw wzięliśmy złe dane, a potem użyliśmy narzędzi, aby je pogorszyć – mówi Katy Weathington, która bada błąd algorytmiczny na University of Colorado Boulder.

Czytaj także: Algorytmy stają się rasistami i seksistami

W następstwie protestów dotyczących stronniczości policji po śmierci George’a Floyda z rąk funkcjonariusza policji w Minneapolis, niektóre wydziały policji podwajają stosowanie narzędzi predykcyjnych. – W obecnym klimacie musimy inaczej walczyć z przestępczością. Zrobimy to zmniejszą liczbą zatrzymań na ulicach – być może narażając cię na mniejsze niebezpieczeństwo i odpowiedzialność – jednocześnie lepiej wykorzystując dane, inteligencję i całą technologię, jaką mamy do dyspozycji – napisał w liście komisarz nowojorskiej policji Dermot Shea.

– Policji podoba się pomysł narzędzi, które dają im ostrzeżenie i pozwalają im na wczesną interwencję, ponieważ uważają, że pozwala to obniżyć wskaźniki przestępczości – mówi Rashida Richardson, dyrektor ds. badań politycznych w AI Now Institute. Ale w praktyce ich użycie może przypominać nękanie.

W efekcie niektóre wydziały policji udostępniają funkcjonariuszom listy „najbardziej poszukiwanych” osób, które narzędzie określa jako osoby wysokiego ryzyka. Po raz pierwszy usłyszała o tym, kiedy mieszkańcy Chicago poinformowali ją, że policja pukała do ich drzwi i mówią, że są obserwowani.

W innych stanach policja ostrzegała osoby z list, że są narażone na wysokie ryzyko udziału w przestępstwach związanych z gangami i prosząc ich o podjęcie działań w celu uniknięcia tego. Jeśli później zostali aresztowani za jakiekolwiek przestępstwo, prokuratorzy wykorzystali wcześniejsze ostrzeżenie jako powód do postawienia im zarzutów. – To prawie jak cyfrowa forma uwięzienia, w której dajesz ludziom jakieś niejasne informacje, a następnie wykorzystujesz je przeciwko nim – mówi.

Podobnie badania – w tym badanie zlecone w zeszłym roku przez Centrum Etyki Danych i Innowacji rządu Wielkiej Brytanii – sugerują, że identyfikacja pewnych obszarów jako miejsc zapalnych oznacza, że funkcjonariusze wręcz oczekują kłopotów podczas patrolu, co zwiększa prawdopodobieństwo zatrzymania lub aresztowania tam osób z powodu uprzedzeń zamiast w wyniku faktycznego przestępstwa.