Sztuczna inteligencja kontrolująca zasiłki narusza prawa człowieka – orzekł holenderski sąd. To może być przełomowe orzeczenie, które ukształtuje wpływ SI na politykę rządów
Holenderski sąd nakazał natychmiastowe wstrzymanie zautomatyzowanego systemu nadzoru nad świadczeniami społecznymi ze względu na to, że narusza prawa człowieka. Nadzór sztucznej inteligencji nad przyznawaniem świadczeń jest kwestią kontrowersyjną, choćby dlatego, że często nieuregulowaną prawnie. Sprawę obserwowały więc media i organizacje praw człowieka.
Human Rights Watch podnosiła, że „państwa z cyfrową pomocą społeczną” (digital welfare states), często rozwijają systemy bez konsultacji społecznych i stosują je bez odpowiedniego nadzoru. To narusza prawo do prywatności, normy dotyczące praw człowieka, niesłusznie penalizuje ludzi ubogich i często jest równoznaczne z ich śledzeniem.
Decyzję holenderskiego sądu przychylnie przyjął Philip Alston, sprawozdawca ONZ ds. skrajnego ubóstwa i praw człowieka, który „Guardianowi” powiedział: „To oczywiste zwycięstwo dla tych wszystkich, którzy słusznie obawiają się poważnych zagrożeń praw człowieka, które niesie ze sobą cyfryzacja pomocy społecznej”. I dodał: „To pierwszy raz, kiedy jakikolwiek sąd zatrzymał wykorzystanie technologii i obfitych danych cyfrowych przez system pomocy społecznej na podstawie praw człowieka”.
System „identyfikacji ryzyka” (Systeem Risico Indicatie, w skrócie SyRI) opracowany przez holenderski rząd to rozwijany od dekady system oceny ryzyka – ocenia czy dana osoba może wyłudzić świadczenia społeczne, naruszyć prawo podatkowe albo prawo pracy. System w jednym module przechowuje dane takie jak historia zatrudnienia, historia kredytowa, rejestr otrzymanych świadczeń oraz wykształcenie i miejsce zamieszkania. Wszystkie te dane analizuje algorytm, który może stwierdzić, że ktoś jest oszustem. Taka informacja rzecz jasna wpływa na decyzję o przyznaniu świadczenia, jest też przechowywana przez dwa lata.
Budzi to wątpliwości organizacji obywatelskich. Human Rights Watch zaznacza, że szczegóły działania SyRI nie są znane. Holenderski rząd konsekwentnie odmawia podania szczegółów działania systemu, twierdząc, że ujawnienie takich informacji może ułatwić oszustom ubieganie się o świadczenia.
„To oczywiste zwycięstwo dla tych wszystkich, którzy słusznie obawiają się poważnych zagrożeń praw człowieka, które niesie ze sobą cyfryzacja pomocy społecznej” – Philip Alston, sprawozdawca ONZ ds. skrajnego ubóstwa i praw człowieka
Sąd orzekł, że prawo, na podstawie którego działa SyRI nie zawiera wystarczających zabezpieczeń przed naruszeniem prywatności i skrytykował „poważny brak przejrzystości” tego, jak działa algorytm. W uzasadnieniu stwierdził też, że jego wykorzystanie może dyskryminować ze względu na status majątkowy i społeczny. System nie przeszedł wymaganego przez Europejską konwencję praw człowieka testu „sprawiedliwej równowagi” pomiędzy celem jego użycia (zapobieganiu nadużyciom) a prawem do prywatności (które naruszane było przez użycie systemu).
Christiaan van Veen, specjalista z wydziału prawa New York University komentuje dla „Guardiana”, że „trzeba podkreślić, iż SyRI nie jest wyjątkowym systemem, wiele innych rządów eksperymentuje z automatyzacją procesów decyzyjnych w opiece społecznej”. Przywołuje przykład Australii, gdzie wskutek automatyzacji systemu dziesiątki tysięcy osób zostały z dnia na dzień dłużnikami, którzy musieli zwrócić nadpłaty świadczeń, ponieważ algorytm uznał, że im się nie należą. Zjawisko takich długów nazwano nawet „robodługami” (robodebts).
Wyrok zapewne odbije się szerokim echem w Europie, która zamierza opracować regulacje dotyczące sztucznej inteligencji. Sprawę szczególnie uważnie śledziły organizacje obywatelskie w Wielkiej Brytanii, gdzie rząd zamierza wykorzystać sztuczną inteligencję przy weryfikacji pomocy społecznej, czy identyfikować za pomocą algorytmów dzieci z rodzin zagrożonych ubóstwem lub przemocą. Algorytmy uczenia maszynowego miałyby uczyć się od ludzi i przyznawać świadczenia.
W reportażu śledczym w listopadzie ubiegłego roku dziennik „The Guardian” opisywał, że brytyjski odpowiednik ministerstwa pracy i opieki społecznej opracowuje ponad sto systemów sztucznej inteligencji. Przy okazji seria artykułów ujawniła, że automatyzacja systemów świadczeń opieki społecznej wykorzystująca dane cyfrowe obywateli i algorytmy sztucznej inteligencji dokonuje się po cichu w wielu krajach. Rządy zaś bardzo niechętnie to ujawniają.
Wyrok holenderskiego sądu potwierdza, że osoby potrzebujące opieki społecznej powinny być traktowane z poszanowaniem należnych im praw do prywatności, a nie jak stale inwigilowani podejrzani – komentuje orzeczenie Human Rights Watch.
Szczególnie ciekawe w tej bezprecedensowej sprawie jest to, iż holenderski rząd podnosił, że system poddano audytowi ryzyka pod kątem ochrony danych osobowych, sąd jednak orzekł, że jednorazowy audyt to zbyt mało. Uznał, że zautomatyzowane systemy oparte na sztucznej inteligencji powinny być poddawane takim audytom w każdym miejscu wdrożenia systemu, regularnie podczas całego cyklu życia systemu. Jest to zgodne z rekomendacjami ekspertów z dziedziny etyki i SI ( np. zaleceniami raportu AINow oraz europejskiej grupy AI HLEG) zauważa HRW.
Holenderski rząd może się od wyroku odwołać.