Popularnym sposobem na nieprzejrzystość algorytmów sztucznej inteligencji jest dziś wyjaśnialna SI. Co jednak robić, gdy udzielane przez nią wyjaśnienia są mało wiarygodne? Przejść na taką, która od początku jest zrozumiała, uważa prof. Cynthia Rudin z Uniwersytetu Duke’a
Problem czarnej skrzynki (black box) to duże wyzwanie dla twórców sztucznej inteligencji, szczególnie tej opartej na uczeniu głębokim. Złożoność modeli sprawia bowiem, że logika ich działania jest dla człowieka często niezrozumiała. A to bardzo niebezpieczne w przypadku systemów podejmujących decyzje w sprawach istotnych dla społeczeństwa czy jednostki, jak np. zwolnienia warunkowe, przyznawanie zasiłku czy wybór najlepszej terapii medycznej.
Dlatego coraz większą popularnością cieszy się ostatnio tzw. wyjaśnialna sztuczna inteligencja (explainable AI, XAI). Chodzi o rozwiązania pozwalające zrozumieć zasady, wedle których działają nieprzejrzyste modele SI. Takie podejście odpowiada też regulacjom obowiązującym od niedawna w Unii Europejskiej, gdzie arbitralność automatycznych systemów decyzyjnych jest ograniczana przez rozporządzenie o ochronie danych osobowych (RODO).
Kto będzie pilnował strażników?
Artykuł 22 RODO mówi o tym, że obywatele UE mają prawo do wyjaśnienia ważnych lub prawnie wiążących decyzji podejmowanych przez algorytmy. Każda instytucja korzystająca z systemów typu black box musi więc zadbać o to, by były one wyjaśnialne, lub zrezygnować z ich stosowania. Na pozór wszystko wydaje się w porządku. Jesteśmy bezpieczni. Pozostaje jedno ale: kto sprawdzi, czy wyjaśnienie, które otrzymaliśmy od SI, jest poprawne?
Takie pytanie stawia prof. Cynthia Rudin z amerykańskiego Uniwersytetu Duke’a, specjalistka w dziedzinie statystyki i data science. Skąd pomysł, by je zadać? Rudin twierdzi, że spora część narzędzi używanych do wyjaśniania sekretów uczenia głębokiego nie odpowiada rzeczywistym działaniom modeli, które ma tłumaczyć. Tym samym wymogi RODO, choć w teorii słuszne, w praktyce mogą sprowadzać się do udzielania fałszywych lub jedynie częściowo prawdziwych wyjaśnień. A to ma niewielki sens.
Co więcej, Rudin podkreśla, że czarne skrzynki to dziś nie tylko skomplikowane modele bazujące na głębokich sieciach neuronowych, ale także prostsze narzędzia SI po prostu chronione tajemnicą przedsiębiorstwa. Jako przykład podaje system COMPAS służący amerykańskiemu wymiarowi sprawiedliwości do szacowania prawdopodobieństwa recydywy wśród skazanych. Choć technicznie rzecz biorąc nie jest on czarną skrzynką, to mechanizmy jego działania są ukryte przed światem na mocy umowy o jego użytkowaniu. Oba rodzaje nieprzejrzystych systemów niosą ze sobą ryzyko poważnych kosztów społecznych. Czy można coś na to poradzić?
Wyjaśnianie kontra interpretacja
Rudin uważa, że popularne dziś uczenie głębokie nie powinno być stosowane w przypadkach wrażliwych, np. w służbie zdrowia, sądownictwie czy opiece społecznej, jeśli istnieją systemy mogące być dla niego skuteczną alternatywą. A taką, zdaniem badaczki, są współcześnie tworzone drzewa decyzyjne (optimal decision trees).
Spora część narzędzi używanych do wyjaśniania sekretów uczenia głębokiego nie odpowiada rzeczywistym działaniom modeli, które ma tłumaczyć. Tym samym wymogi RODO, choć w teorii słuszne, w praktyce mogą sprowadzać się do udzielania fałszywych lub jedynie częściowo prawdziwych wyjaśnień.
Choć w ostatnich latach mało popularne ze względu na rozwój innych form SI, są one znacznie bezpieczniejsze, ponieważ pozwalają łatwo interpretować swoje wyniki. Poza tym są też lepiej dostosowane do dziedzin, w których mają funkcjonować, więc ryzyko pomyłki jest tu znacznie mniejsze. Dlaczego zatem systemy tego typu nie są dziś bardziej rozpowszechnione?
Głównym problemem jest przekonanie o ich mniejszej skuteczności niż uczenia głębokiego. Tymczasem, zdaniem Rudin, to nieprawda.
Czarne skrzynki i mit skuteczności
Odwołując się do własnych doświadczeń przy prowadzeniu projektów data science w różnych obszarach (służba zdrowia, energetyka, finanse) oraz do wyników prestiżowych zawodów dotyczących wyjaśnialnej SI, Rudin przekonuje, że możliwe jest stworzenie w pełni interpretowalnych (czyli nieobarczonych problemem czarnej skrzynki) modeli, których skuteczność jest równie wysoka, jak tych opartych na uczeniu głębokim.
Adres filmu na Youtube: https://www.youtube.com/watch?v=FsLP-kkvIIw
Źródło: Hariri Institute for Computing / YouTube
W grudniu 2018 r. podczas konferencji Neural Information Processing Systems (NeurIPS) w Montrealu odbyły się zawody Explainable Machine Learning Challenge, które miały za zadanie wyłonić najlepiej opracowany system wyjaśnialnej SI. Biorące w nim udział zespoły najpierw opracowywały (działający na zasadzie czarnej skrzynki) model przewidujący ryzyko niespłacania kredytu przez kredytobiorców, a następnie tworzyły narzędzie jak najlepiej wyjaśniające jego działanie.
Zespół prof. Rudin postanowił inaczej podejść do postawionego zadania, choć wiedział, że w ten sposób raczej nie zwycięży w zawodach. Otóż zdecydował się sprawdzić, czy w tym wypadku da się stworzyć model interpretowalny, który nie będzie wymagał narzędzi do wyjaśniania swojego działania, a zarazem zapewni dokładność porównywalną z modelami opartymi na uczeniu głębokim. Okazało się, że jest to możliwe.
Skuteczność opracowanego przez zespół Rudin rozwiązania, opartego na klasycznych technikach statystycznych właściwych dla modeli linearnych, okazała się różnić tylko o niecały 1 procent od skuteczności modeli opracowanych z wykorzystaniem głębokich sieci neuronowych. I choć zgodnie z przewidywaniami model nie zdobył nagrody w konkursie NeurIPS, to został wyróżniony nagrodą FICO Recognition Prize przyznawaną przez Fair Isaac Corporation (FICO) – amerykańską firmę specjalizującą się w analityce kredytowej.
Zakazać sieci neuronowych?
Zdaniem Rudin zastosowanie interpretowalnych modeli SI zamiast nieprzejrzystych sieci neuronowych jest możliwe w różnych obszarach, natomiast w przypadku kwestii szczególnie wrażliwych jest po prostu konieczne. Dlatego uważa ona, że powinno się zakazać używania modeli opartych na czarnych skrzynkach tam, gdzie możliwe jest stworzenie równie skutecznego systemu opartego na klasycznych modelach interpretowalnych. Bardziej przyjazną formą promowania przejrzystych modeli SI mogłoby też być obligatoryjne testowanie wydajności systemów opartych na sieciach neuronowych z tymi używającymi drzew decyzyjnych. Byłby to uczciwy sposób na wiarygodną weryfikację ich możliwości.
Popularne dziś uczenie głębokie nie powinno być stosowane w przypadkach wrażliwych, np. w służbie zdrowia, sądownictwie czy opiece społecznej, jeśli istnieją systemy mogące być dla niego skuteczną alternatywą. A taką są współcześnie tworzone drzewa decyzyjne
prof. Cynthia Rudin
A co z czarnymi skrzynkami będącymi rezultatem tajemnicy przedsiębiorstwa? Firmy twierdzą, że niejawność szczegółów działania tworzonych przez nie systemów poprawia ich skuteczność i bezpieczeństwo. Jednak zdaniem Rudin to właśnie większa transparentność mogłaby przełożyć się na ich lepsze działanie, bo pomogłaby w szybszym wykrywaniu błędów.
Co więcej, za ich jawnością przemawiają też względy moralne. Nie może być bowiem tak, że narzędzie decydujące o czyimś życiu (jak dzieje się to np. w przypadku prognozowania ponownego popełnienia przestępstwa), jest chronione tajemnicą przedsiębiorstwa, choć wiadomo, że może nie być wolne od błędów. W takiej sytuacji potencjalne ofiary błędnych decyzji stoją na gorszej pozycji niż firmy chroniące swój interes. W wyniku błędu oprogramowania ktoś może zostać pozbawiony szans na opuszczenie murów więzienia, a osoby odpowiedzialne za jego działanie są zwolnione z wszelkiej odpowiedzialności. To niedopuszczalne, uważa Rudin.
Używanie czarnych skrzynek nie jest jednak wyłącznie kwestią mody lub zaniechania. Rudin nie ukrywa bowiem, że systemy oparte na drzewach decyzyjnych wymagają dużo wysiłku na etapie ich budowy, a także konkretnej wiedzy eksperckiej z dziedziny, w której mają być używane. Czy jednak w przypadku systemów mających wpływ na ludzkie życie można powiedzieć, że jest to zbyt wygórowana cena?
Na to pytanie muszą odpowiedzieć sobie nie tylko inżynierowie od data science czy przedsiębiorcy oferujący zautomatyzowane systemy decyzyjne, ale przede wszystkim rządzący i prawodawcy. Bo, jak widać, wybór istnieje.