Algorytm sam w sobie nie jest ani etyczny, ani nieetyczny. To człowiek, który go stworzył, podjął bardziej lub mniej etyczne decyzje. Więc to on jest odpowiedzialny. Z prof. PW Przemysławem Bieckiem rozmawia Maciej Chojnowski
Maciej Chojnowski: Podczas swoich wystąpień często przywołuje pan książkę Cathy O’Neil „Broń matematycznej zagłady”. Dlaczego ekspert od sztucznej inteligencji skupia się na wynikających z niej zagrożeniach, a nie na korzyściach?
Przemysław Biecek*: Nie jest tak, że badacze sztucznej inteligencji automatycznie są jej bezkrytycznymi orędownikami. Tym, co mnie – a myślę, że i wielu innych – motywuje do działania, jest możliwość budowy skutecznych modeli. Aby jednak modele były skuteczne, muszą być poddane krytycznej analizie.
Książka Cathy O’Neil pokazuje serię porażek wynikłych z zastosowania modeli uczenia maszynowego. Dla mnie była to bardzo ciekawa lektura, która uzmysłowiła mi, że budując modele sztucznej inteligencji, przez lata nie dostrzegliśmy pewnych zagrożeń. To bardzo wartościowa lekcja: powinniśmy być bardziej kreatywni w przewidywaniu potencjalnie negatywnych konsekwencji tego, co tworzymy.
W książce O’Neil jest wiele przykładów niefortunnych przypadków, gdy algorytmy nie zadziałały tak, jak powinny, i w efekcie ktoś został pokrzywdzony. Co jest kluczowym problemem, który tam opisano?
Dla osób tworzących modele oczywistością jest, że budując model, idziemy na kompromis. Kompromis pomiędzy tym, jak wiele decyzji chcemy zautomatyzować albo przyspieszyć, a tym, na jaką liczbę błędów się zgadzamy. Niezajmującym się tą dziedziną takie przyzwolenie na błędy może się wydać zaskakujące. Użytkownicy SI często zakładają, że maszyna będzie niezawodna lub przynajmniej mniej zawodna niż człowiek. Błędy jednak się zdarzają. W procesie budowy modelu my te błędy szacujemy, zarządzamy nimi. O’Neil pokazuje przypadki, w których decyzje modeli przyjmowano bezkrytycznie, a błędy okazały się bardzo dotkliwe.
Kiedy można zaakceptować błąd w zamian za zrobienie czegoś dużo szybciej?
Na przykład wtedy, gdy używamy modelu do dopasowania reklam internetowych. Jeżeli błędy nie występują systematycznie, to nawet ich duża liczba będzie akceptowalna. Źle dobrana reklama to pewna strata dla reklamodawcy, ale najczęściej niewielka. Bo rekompensują ją skuteczne reklamy.
Inaczej jest w przypadku zdrowia, życia lub np. zatrudnienia. Tutaj koszty społeczne błędnych decyzji są już większe. Wiedząc, jak wielu błędów można się spodziewać, możemy (choć nie musimy) godzić się na określone ryzyko. Możemy też być bardziej krytyczni w stosunku do automatycznych rekomendacji.
Nie jest tak, że badacze sztucznej inteligencji automatycznie są jej bezkrytycznymi orędownikami
Problem pojawia się, gdy ktoś zakłada, że system musi być nieomylny. Powstaje wtedy rozdźwięk pomiędzy oczekiwaniami użytkowników, że system zawsze będzie mieć rację, a świadomością badaczy, którzy projektują narzędzia i znają ich niedoskonałości.
Z czego wynikają wygórowane oczekiwania wobec sztucznej inteligencji?
Wydaje mi się, że z lenistwa ludzi. Wiele osób chciałoby, żeby ktoś inny podjął za nich decyzję, i to jeszcze jak najlepszą. Dopóki takie decyzje są poprawne, nikt ich nie kwestionuje. Jednak gdy są złe, zaczynają się narzekania: myślałem, że to będzie działało inaczej.
Poza tym każdą nową technologią łatwo się zachłysnąć. Kiedyś fantazjowaliśmy na temat międzygalaktycznych lotów kosmicznych, teraz fantazjujemy na temat sztucznej inteligencji. Chcielibyśmy wierzyć, że przełomowe zmiany pojawią się bardzo szybko.
Niektóre firmy wykorzystują tę naszą wiarę w lepszą przyszłość, obiecując, że niebawem wszystko będzie za nas robione automatycznie, szybko, tanio i skutecznie. Oczywiście mamy ogromny postęp w obszarze automatyzacji wielu procesów, ale tam, gdzie są duże pieniądze, pojawia się pokusa wyolbrzymienia tego postępu, by pozyskać nowych klientów. Mam wrażenie, że obecnie obietnice rosną szybciej niż faktyczne tempo rozwoju SI.
Zajmuje się pan tzw. explainable AI, czyli wyjaśnialną sztuczną inteligencją. Jak to działa?
Badania, które prowadzę, mają na celu określenie, kiedy i jak możemy wyjaśnić przyczyny podjęcia określonej decyzji przez model statystyczny lub model uczenia maszynowego.
Jest wiele powodów, dla których potrzebujemy takich wyjaśnień. Jako twórca modeli muszę rozumieć przyczyny ich decyzji, aby móc je poprawić, gdy są niewłaściwe. Na przykład mam model przewidujący cenę mieszkania i widzę, że dla pewnych mieszkań ten model działa bardzo źle, np. zaniża ich cenę. Muszę więc zrozumieć, jakie czynniki powodują, że tak się dzieje, aby móc go później poprawnie skalibrować.
Powinniśmy być bardziej kreatywni w przewidywaniu potencjalnie negatywnych konsekwencji tego, co tworzymy
Inną perspektywę ma użytkownik modelu. Sprzedający mieszkanie chce wiedzieć, co może zmienić, aby zwiększyć wartość mieszkania. Czy opłaca się wymienić okna na nowe? Czy opłaca się przeprowadzić remont?
Strukturę niektórych modeli łatwo przeanalizować. Ale coraz popularniejsze są modele złożone, znacznie trudniejsze w analizie. W zespole badawczym MI2 tworzymy zestaw narzędzi analitycznych DrWhy.AI, które pomagają w analizie nawet w tych najbardziej skomplikowanych przypadkach.
Czy rozwiązania, które pan opracowuje, są uniwersalne?
Narzędzia, które rozwijam ze swoim zespołem, są najczęściej stosowane w aplikacjach finansowych lub medycznych. Każdy obszar zastosowań wiąże się z innymi potrzebami dotyczącymi wyjaśnialności. Nie można użyć jednego narzędzia, które otworzy wszystkie czarne skrzynki. To niemożliwe, bo te skrzynki są złożone, a każda na swój własny sposób. Narzędzie, które świetnie sprawdzi się do analizy zdjęć rentgenowskich, niekoniecznie przyda się do wyjaśnienia decyzji kredytowych.
Ale choć poszczególne narzędzia do wyjaśniania nie są uniwersalne, to rządzą się podobnymi prawami. Dlatego chcemy je lepiej zrozumieć. Potrzebujemy języka, w którym człowiek może efektywnie komunikować się z modelami statystycznymi. Dla nas pierwszym wyborem był język wizualny: Jak zwizualizować model, jak pokazać jego silne i słabe strony, najważniejsze czynniki wpływające na jego decyzje, w jaki sposób utrzymać interakcję z tym modelem?
Na bazie tych technik do wizualizacji danych tworzymy nowe techniki do wizualizacji modeli statystycznych. Ale język do komunikacji z modelami nie musi być wizualny, może polegać na innych formach komunikacji.
Skoro nie prześwietlimy czarnych skrzynek, to na czym polega tworzenie języka, o którym pan mówi?
Nie dowiemy się w szczegółach, jak działała głęboka sieć neuronowa, ponieważ w rachubę wchodzą miliony parametrów i każdy może mieć wpływ na końcową decyzję. Ale nawet dla tak złożonych modeli możemy uzyskać odpowiedź na pytanie: „Jak zmieniłaby się odpowiedź modelu, gdyby podać na wejściu inne dane?” lub ,,Co musiałoby się wydarzyć, aby odpowiedź modelu zmieniła się na przeciwną’’.
Gdy sprowadzimy wyjaśnialność modeli do pewnej liczby elementarnych pytań i dla każdego pytania będziemy potrafili konstruować wyjaśnienia, to będziemy w stanie objaśnić każdy model: sieć neuronową, miliony drzew decyzyjnych czy jeszcze coś innego.
Wyobraźmy sobie złożoną SI oceniającą wniosek kredytowy. W tej chwili nie można tego robić w bankach, ale załóżmy, że tak się jednak dzieje. Czarna skrzynka z jakiegoś powodu daje komuś kredyt lub nie. Żeby zrozumieć, jak ona działa, mogę zapytać, co w moim zachowaniu muszę zmienić. Czy jeżeli zmniejszę liczbę kart kredytowych, to moja szansa na otrzymanie kredytu wzrośnie, czy zmaleje? A co gdybym miał ubezpieczenie na życie?
Nie muszę w pełni rozumieć wszystkich składowych konkretnej decyzji czarnej skrzynki. Wystarczy, że zrozumiem, jak mogę zmienić moją sytuację. A to jest dużo łatwiejsze do wyjaśnienia.
Jak miałoby to wyglądać w praktyce?
Możliwych realizacji takich wyjaśnień jest bardzo wiele. Osobiście najbardziej wierzę w trzy podejścia.
Jedno, rozwijane przez Michała Kuźbę, studenta wydziału MIM UW, to xai-bot, system dialogowy do objaśniania decyzji modelu. Stworzony prototyp odpowiada na pytanie o hipotetyczne szanse przeżycia katastrofy na „Titanicu”. Ktoś mówi np., że jest mężczyzną w wieku iluś lat, i pyta, jakie miałby szanse przeżycia katastrofy. Kiedy chatbot odpowie, można pytać, co by było, gdyby ten ktoś był starszy albo kupił bilet w innym porcie czy podróżował w innej klasie. Do określania szansy przeżycia wykorzystywany jest model tak zwanego lasu losowego, który ma bardzo wiele parametrów. Jednak nawet widząc je wszystkie, nie sposób odgadnąć, jak model się zachowa. Ale wchodząc z nim w interakcję, możemy budować naszą intuicję co do tego zachowania.
Kiedyś bardzo dużo uwagi poświęcaliśmy komunikacji pomiędzy człowiekiem a komputerem. To, co zrobiliśmy dla komputerów, musimy teraz zrobić dla modeli sztucznej inteligencji
Trochę jak przy zabawie z psem: widzimy, że przynosi piłkę, więc zakładamy, że ją lubi i dlatego to robi. Nie znamy procesów zachodzących w mózgu psa, ale na bazie interakcji budujemy intuicję dotyczącą jego zachowania. Tak samo będzie z uczeniem maszynowym. Jeżeli po kolejnej interakcji wszystko zadzieje się tak, jak tego oczekiwaliśmy, to nasze zaufanie do działania systemu będzie coraz większe.
Oprócz chatbota są też inne podejścia.
Tak. W naszym zespole powstało wiele prototypowych narzędzi, które wyjaśniają jakiś konkretny aspekt działania SI. Na przykład w przypadku odmowy przyznania kredytu mówią, że decydująca była liczba kart kredytowych. Albo że o odmowie terapii zdecydowało to, że ktoś jest chory na cukrzycę.
Okazuje się jednak, że najskuteczniejsze są narzędzia, które jednocześnie przedstawiają sposób działania modelu z różnych perspektyw. Tak jak z wizualizacją danych. Jeden wykres mówi dużo, ale jeżeli go zestawimy z innymi, to możemy na jakiś problem spojrzeć z wielu perspektyw i lepiej zrozumiemy całość.
Przykład?
Idealnym przykładem jest modelStudio, narzędzie rozwijane przez Huberta Banieckiego, studenta MiNI Politechniki Warszawskiej. Pozwala ono na wieloaspektową analizę decyzji modelu predykcyjnego. Prototyp wyjaśnia predykcje wyceny wartości piłkarzy. Wykorzystując dane o tysiącach zawodników, model nauczył się, jakie charakterystyki (np. opanowanie piłki, skuteczność strzelania, prędkość) wpływają najsilniej na wycenę. Narzędzie pozwala na spojrzenie z wielu perspektyw, dzięki czemu lepiej rozumiemy decyzje systemu, ale też możemy być względem nich bardziej krytyczni.
To podejście zakłada, że lepsze zrozumienie jest wtedy, gdy problem jest naświetlony z wielu perspektyw. Dzisiaj, gdy ktoś myśli o sztucznej inteligencji w gabinecie lekarskim, może sobie wyobrażać jeden model, który coś lekarzowi mówi. A czy nie byłoby bezpieczniej mieć kilka konkurujących ze sobą modeli, które muszą wyłożyć swoje racje i przekonać do nich lekarza? W szczególnie trudnych przypadkach decyzja powinna wynikać z takiej dyskusji. Jeden punkt widzenia jej nie zapewni.
A trzecie podejście?
Polega na tym, by tę samą treść pokazać zarówno w postaci wykresu, jak i tekstu. W naszym zespole bardzo często pracujemy z lekarzami na danych medycznych. Dla nich język wizualny, czyli właśnie wykresy, nie jest naturalny i nawet rodzi niepokoje: „Czy zauważyłem wszystko, co było ważne na wykresie?”, „Patrzyłem w prawą stronę, a może trzeba też było spojrzeć w lewą?”. Tekst ma tę zaletę, że wiemy, gdzie jest początek, a gdzie koniec. Można go analizować słowo po słowie i ocenić, czy wszystko jest zrozumiałe. Dla niektórych grup odbiorców taki przekaz może być bezpieczniejszy i skuteczniejszy niż język wizualny.
Możliwości eksperymentowania na styku komunikacji człowieka i modelu jest bardzo wiele. Nasze ambicje są duże, bo chcemy mieć narzędzia skuteczne i dla naszych kolegów, którzy tworzą modele (czyli osób o bardzo dużych kompetencjach w rozumieniu mechanizmów działania czarnej skrzynki), i dla ludzi, którzy o SI niej nic nie wiedzą, ale ciekawi ich końcowa decyzja.
Kto będzie obsługiwał narzędzia do wyjaśnialnej SI? Specjalista z danej dziedziny czy na przykład klient?
Każdy powinien mieć mieć taką możliwość. W swej książce O’Neil zwraca uwagę na to, że na poziomie budowy modelu ta cała warstwa komunikacji z człowiekiem została przeoczona. A aspekt ludzki powinien być uwzględniony na każdym kroku budowy systemu SI.
Komunikacja, czyli wyjaśnialność?
Tak. Ważna jest też kwestia interfejsu pomiędzy modelem a człowiekiem. Kiedy kilkanaście lat temu kończyłem studia z inżynierii oprogramowania na Politechnice Wrocławskiej, bardzo dużo uwagi poświęcaliśmy komunikacji pomiędzy człowiekiem a komputerem. To, co zrobiliśmy kiedyś dla komputerów, musimy teraz zrobić dla modeli sztucznej inteligencji. Istnieją narzędzia, które pozwalają programistom na weryfikowanie ich programów. Teraz potrzebujemy narzędzi, które twórcom modeli ułatwią weryfikację modeli uczenia maszynowego.
Chodzi o stworzenie dodatkowej warstwy komunikacyjnej, która umożliwiałaby wyjaśnienie działania modeli różnym użytkownikom, bardziej i mniej zaawansowanym?
Tak, bo wcześniej z modelami nie umieliśmy rozmawiać. Dzisiaj gdyby ktoś poszedł do sądu i powiedział, że jakiś model jest niesprawiedliwy, to nawet nie byłoby wiadomo, w jaki sposób ta sprawiedliwość miałaby być mierzona. Dlatego musimy stworzyć nowy język, w którym można będzie o modelach rozmawiać.
Mam wrażenie, że obecnie obietnice rosną szybciej niż faktyczne tempo rozwoju SI
Peter Norvig, współautor najpopularniejszego podręcznika do SI, uważa, że wyjaśnialność będzie działała trochę na zasadzie wstecznej racjonalizacji: „Czarna skrzynko, wytłumacz, dlaczego tak zrobiłaś” – a czarna skrzynka popracuje i wyrzuci z siebie uspokajające, choć niekoniecznie zgodne z faktycznym przebiegiem procesu wyjaśnienie. Ma rację?
Zgadzam się z tym i nie zgadzam zarazem. W pewnych obszarach rzeczywiście tak może być. Nie uważam jednak, że nadrzędnym celem systemu do wyjaśniania czarnych skrzynek jest uspokajanie ludzkiego operatora i tworzenie iluzji, że coś tam rozumie. Paradoksalnie gdyby postawić przed algorytmami uczenia maszynowego cel, by zwiększały zaufanie do siebie samych, to łatwo byłoby stworzyć system budzący ufność na poziomie deklaracji, ale niekoniecznie dobrze działający.
Natomiast jeżeli system będzie wspierał krytyczne myślenie i szukał dziury w całym, to takie wyjaśnienia mogą być bardzo przydatne. To jednak, czy system pokaże nam jedno rozwiązanie i sztucznie narzuci do niego zaufanie, czy też kilka rozwiązań i powie: „Myśl cały czas, musisz wybrać”, zależy tylko od jego twórców.
Wyjaśnialna SI nie musi więc polegać na wstecznej racjonalizacji, bo nie musi pokazywać jednego komunikatu. Wyjaśnieniem mogą być dwa sprzeczne komunikaty ,,za i przeciw’’, które wciąż będą wymagały aktywnego wyboru człowieka. Oczywiście poziom aktywności człowieka można tak zminimalizować, żeby niemal automatycznie zatwierdzał decyzje algorytmu. Ale jesteśmy też w stanie stworzyć system, który będzie zmuszał nas do wyboru, pokazując te skrajne scenariusze.
Wyjaśnialna sztuczna inteligencja wpisuje się w szerszy nurt etycznej albo odpowiedzialnej SI. Obejmuje ona nie tylko etykę, ale też regulacje prawne, kodeksy branżowe i sam dyskurs dotyczący sztucznej inteligencji. Czy pana pracę należy rozpatrywać w takim kontekście?
Zdecydowanie tak. W przypadku sztucznej inteligencji nie jest tak, że ona sama się buduje – przynajmniej na razie, a jeszcze pewnie długo tak nie będzie. To ludzie, którzy ją stworzyli, muszą być za swoje dzieła odpowiedzialni i mieć wysokie standardy etyczne. Przecież nie mówimy, że młotek jest etyczny albo nieetyczny, tylko że osoba, która go użyła, podjęła bardziej lub mniej etyczne decyzje. SI jest narzędziem i w kwestiach etycznych nie zdejmowałbym odpowiedzialności z człowieka, które to narzędzie stworzył, lub który z niego korzysta.
dr hab. inż Przemysław Biecek, prof. PW, swoją przygodę z analizą danych rozpoczął od studiów z inżynierii oprogramowania oraz ze statystyki matematycznej na Politechnice Wrocławskiej. Lata doświadczeń w wizualizacji danych i modelowaniu statystycznym wykorzystuje w budowaniu narzędzi do wyjaśniania modeli predykcyjnych pod otwartą marką DrWhy.AI. Powołał zespół badawczy MI2DataLab rozpięty pomiędzy wydziałem MiNI Politechniki Warszawskiej a wydziałem MIM Uniwersytetu Warszawskiego. Autor wielu artykułów naukowych, jak również monografii poświęconych analizie danych, wizualizacji danych oraz programowaniu. W wolnym czasie entuzjasta tzw. data-literacy, autor książek popularnonaukowych z serii Beta i Bit. Lubi podróże, planszówki i audiobooki.
Read the English version of this text HERE