- Zaawansowane systemy SI mogą być dla nas groźne, jeśli źle zinterpretują cel, który przed nimi stawiamy
- Jak przewidzieć wszystkie ryzykowne sytuacje, w których SI mogłaby opacznie zrozumieć nasze intencje?
- Rozwiązanie: zbudować nową SI, podejmującą decyzje tylko we współpracy z człowiekiem
Midas, władca Frygii, pomógł zagubionemu sylenowi z orszaku Dionizosa. W nagrodę bóg postanowił spełnić jedno życzenie króla. Midas poprosił, by wszystko, czego dotknie, zmieniało się w złoto. Gdy jego życzenie się spełniło, król zrozumiał, że zastawił na siebie śmiertelną pułapkę: przemieniał w złoto również pożywienie i napoje.
W erze sztucznej inteligencji ta starożytna opowieść nabiera nowego znaczenia. Stuart Russell, światowej sławy brytyjski ekspert od SI, przywołuje ją, by wyjaśnić, na czym polega największe niebezpieczeństwo związane z tą technologią.
Co więc nam grozi?
Współczesne systemy SI, wyjaśnia Russell, dążą do maksymalnej użyteczności: za osiągnięcie określonego celu otrzymują nagrodę. Tak są zaprojektowane. Sensem ich działania staje się więc dążenie do celu tak, by nagroda była jak największa. Kłopot w tym, że cel nie zawsze uświęca środki i maszyna może po drodze pobłądzić, przynosząc więcej szkód niż pożytku.
Spinacze i apokalipsa
W apokaliptyczno-groteskowym scenariuszu Nicka Bostroma, przedstawionym w książce „Superinteligencja”, ludzkość ulega zagładzie, gdy stawia przed sztuczną inteligencją zadanie wytworzenia jak największej liczby spinaczy. Ten pozornie błahy cel okazuje się śmiertelnie niebezpieczny, gdy superinteligentna maszyna go absolutyzuje, przekształcając świat w jedną wielką fabrykę spinaczy.
Russell ma w zanadrzu jeszcze bardziej trywialną historię. Wyobraźmy sobie sprzątającego robota, który ma zebrać jak najwięcej kurzu. Dążąc do najpełniejszej realizacji celu, robot może – gdy już wszystko posprząta – zacząć wyrzucać zebrany kurz, by móc zbierać go znowu. Zachowanie nieakceptowalne z punktu widzenia użytkowników robota dla mało elastycznej SI może się okazać najbardziej sensowne.
Ignorowanie skutków rozwoju SI to jak wysłanie na Marsa ekspedycji bez sprawdzenia, czy jej członkowie będą tam mogli oddychać, jeść i pić
W czym problem? – ktoś zapyta. Przecież wystarczy tak zaprogramować robota, by wiedział, że nie może wyrzucać już raz zebranych śmieci. To prawda. Jednak powyższe przykłady to nie tyle scenariusze realnych zagrożeń, ile raczej przykłady błędów, z jakimi możemy mieć do czynienia.
Alarmiści i sceptycy
Kłopot w tym, że w przypadku coraz bardziej zaawansowanych systemów autonomicznych będzie bardzo trudno wyobrazić sobie wszystkie sytuacje, w których ludzki cel może zostać błędnie zinterpretowany przez maszynę, i z góry im przeciwdziałać.
Ten stan rzeczy niepokoi Russella. Przekonuje on, że tak potężne narzędzie, jakim może stać się sztuczna inteligencja, nie powinno być lekceważone. Podobne opinie wyraziło w ostatnich latach wiele tęgich umysłów, m.in. Max Tegmark, Stephen Hawking, Martin Rees czy Elon Musk. Nie brakuje jednak osób, które do alarmistycznych prognoz podchodzą sceptycznie. Ich argumenty przyjmują różny kształt. W swojej ostatniej książce, „Human Compatible”, Russell zebrał je i poddał krytyce. Przyjrzyjmy się bliżej niektórym z nich.
Pstryk – i już bezpiecznie
Jednym z głównych argumentów wysuwanych przez oponentów Russella i innych naukowców przestrzegających przed zagrożeniem ze strony SI jest twierdzenie, że system, który działa niezgodnie z naszymi intencjami, można po prostu wyłączyć. Jeśli twoja pralka szaleje, wyciągasz wtyczkę z gniazdka i wzywasz fachowca. Podobnie będzie z SI, przekonują sceptycy.
To fałszywa analogia, odpowiada Russell. Zaawansowana SI nie pozwoli się wyłączyć, ponieważ równałoby się to niezrealizowaniu przez nią jej nadrzędnego zadania. Chodzi tu o tzw. cele instrumentalne, czyli takie, które umożliwiają spełnienie głównego celu maszyny. Samozachowanie jest właśnie jednym z takich celów instrumentalnych – trudno bowiem wykonać zadanie, gdy system jest nieaktywny. Inteligentna maszyna może więc bronić się przed wyłączeniem nie dlatego, że zechce za wszelką cenę przetrwać, tylko dlatego, że będzie jej to potrzebne do wykonania zadania, do którego została zaprogramowana.
Świat z perspektywy bakterii
Inny argument oponentów Russella mówi, że prawdziwie superinteligentna maszyna nigdy nie przekształciłaby świata w fabrykę spinaczy właśnie dlatego, że będzie na to zbyt inteligentna, to znaczy będzie właściwie rozumiała świat.
Tu Russell odwołuje się do tzw. błędu antropomorfizacji, czyli założenia, że inteligentna maszyna miałaby w naturalny sposób przyjąć punkt widzenia człowieka. To wcale nie jest oczywiste – przekonuje Russell. Dlaczego maszyna nie miałaby widzieć rzeczywistości na przykład z perspektywy Thiobacillus thiooxidans – bakterii, która lubi żelazo? Świat pełen spinaczy byłby dla niej dużo bardziej atrakcyjnym miejscem niż dla człowieka.
SI a przeludnienie na Marsie
Optymiści argumentują też, że na razie za wcześnie martwić się zagrożeniami ze strony superinteligencji: to pieśń przyszłości, dziś mamy inne problemy. Andrew Ng twierdzi na przykład, że zamartwianie się śmiercionośną SI jest równie zasadne jak obawy o przeludnienie na Marsie.
Russell uważa to porównanie za nietrafne i fałszujące obraz rzeczy. Na razie nie ma widoków na kolonizację Czerwonej Planety, lecz prace nad SI rozwijają się bardzo dynamicznie, pochłaniają ogromne fundusze i są przedmiotem wyścigu technologicznego nie tylko między korporacjami, ale i między państwami. Mądrzej byłoby zatem powiedzieć, że ignorowanie skutków rozwoju SI to jak wysłanie na Marsa ekspedycji bez sprawdzenia, czy jej członkowie będą tam mogli oddychać, jeść i pić.
Cała naprzód ku przepaści
Najczęstszym argumentem wymierzonym w zwolenników kontrolowanego rozwoju SI jest twierdzenie, że superinteligencja (lub nawet SI na ludzkim poziomie) jest niemożliwa albo bardzo mało prawdopodobna. A skoro tak, to nie ma się czym przejmować.
Argument ten jest w opinii Russella wyjątkowo chybiony i właściwie potwierdza obawy dotyczące SI groźnej dla człowieka. Milcząco zakłada bowiem, że superinteligencja – gdyby tylko była możliwa – mogłaby się rzeczywiście okazać niebezpieczna dla ludzkości. Nie powinniśmy więc brać za dobrą monetę zapewnień, że na pewno nic z tego nie wyjdzie. 11 września 1933 r. fizyk Ernest Rutherford stwierdził, że wiara w pozyskanie energii z atomów to nonsens. Dzień później inny fizyk, Leo Szilard, wpadł na pomysł wzbudzonej neutronami jądrowej reakcji łańcuchowej.
Maszyna, która domyślnie nie będzie pewna swojego celu, stanie się otwarta na współpracę z ludźmi
Badania nad SI to nie marginalne prace, ale jedna z najdynamiczniej dziś rozwijanych dziedzin badawczych. W takiej sytuacji – obrazowo wyjaśnia Russell – argumenty mówiące, że z SI na pewno nie wyjdzie nic groźnego, przypominają sytuację, w której kierowca autobusu pełnego ludzi jedzie na pełnym gazie w kierunku urwiska, mówiąc do pasażerów: „Nie bójcie się. Zanim dojedziemy do przepaści, na pewno skończy się nam paliwo”.
Środki bezpieczeństwa
Zdaniem Russella problem niekontrolowanego rozwoju SI istnieje i brakuje rzetelnych kontrargumentów, które pozwalałyby go lekceważyć. Co istotne, Brytyjczyk nie twierdzi wcale, że superinteligencja pojawi się na pewno. Jednak już samo prawdopodobieństwo takiego scenariusza wymaga, byśmy zawczasu maksymalnie się zabezpieczyli.
Dzisiejsze systemy SI potrafią coraz sprawniej osiągać wyznaczone im cele, jednak ich wadą jest nieumiejętność rozpoznania, czy droga do ich realizacji nie koliduje z jakimiś innymi celami ważnymi dla ludzi. Trudno bowiem zebrać razem wszystkie możliwe cele ludzkości i wyobrazić sobie każdą sytuację, w której SI mogłaby je opacznie zrozumieć.
Dlatego metoda polegająca na dodawaniu wyjątków (jak np. w przypadku robota do odkurzania) na dłuższą metę i przy bardziej zaawansowanych urządzeniach nie jest skutecznym rozwiązaniem. W związku z tym Russell proponuje inną drogę, którą nazywa „możliwą do udowodnienia dobroczynną SI” (provable beneficial AI).
Zaprogramowana niepewność
Chodzi w niej o to, byśmy zawsze – bez względu na to, jak doskonale system SI rozwiąże dany problem – mieli gwarancję, że dane rozwiązanie nam odpowiada. Aby tak się stało, system nigdy nie może być pewny celu, który ma osiągnąć; musi uzgadniać go z człowiekiem.
W ujęciu Russella taka bezpieczna SI opierałaby się na trzech ogólnych zasadach:
- Jedynym celem maszyny jest maksymalna realizacja ludzkich preferencji;
- Maszyna na początku nie jest pewna, jakie to preferencje;
- Ostatecznym źródłem informacji o ludzkich preferencjach jest działanie człowieka.
Te trzy zasady są nie tyle prawami, którymi maszyny miałyby się ściśle kierować, ile głównie sugestiami dla inżynierów SI. To oni mają na ich podstawie opracować konkretne rozwiązania.
Altruizm i pokora maszyn
Maszyna, która domyślnie nie będzie pewna swojego celu, stanie się otwarta na współpracę z ludźmi. Wtedy optymalizacja działania nie będzie już dla niej sposobem odnalezienia najwłaściwszego sposobu postępowania, bez względu na okoliczności. To człowiek i jego preferencje staną się kluczowym składnikiem równania, które maszyna ma rozwiązać.
Dzięki temu zniknie problem niezgody maszyny na jej wyłączenie. Altruistyczny i pokorny system, świadomy tego, że to człowiek ostatecznie podejmuje decyzje co do właściwego rozwiązania, uzna wyłączenie za opcję uprawnioną – a niekiedy wręcz pożądaną (gdyby miało się okazać, że dalsze działanie systemu może zaszkodzić człowiekowi).
Alternatywny model uczenia
Od strony technicznej Russell proponuje tzw. odwrócone uczenie ze wzmocnieniem, odbywające się we współpracy człowieka z maszyną (cooperative inverse reinforcement learning, CIRL). Typowe uczenie ze wzmocnieniem polega na tym, że system poznaje właściwe zachowanie dzięki nagrodom, które są mu przyznawane za poprawny wybór w danej sytuacji. W przypadku CIRL chodziłoby o coś odwrotnego: system obserwowałby zachowanie po to, by nauczyć się identyfikować nagrody i w ten sposób poznać preferencje człowieka (co wybiera i dlaczego).
Czy taki pomysł na podległą człowiekowi SI ma szansę się przyjąć, gdy rozwiązania oparte na optymalizacji celu wciąż zyskują na popularności? Russell przekonuje, że tak. Uważa, że znaczenie godnych zaufania i przyjaznych człowiekowi systemów SI będzie rosło. Maszyny dopasowujące się do człowieka miałyby znacznie większe możliwości od obecnych i byłyby bardziej konkurencyjne. Istnieje więc zachęta ekonomiczna.
Druga kwestia to ryzyko związane z rozwijaniem nieelastycznej SI. Russell sądzi, że wystarczy jeden nieostrożny producent, który wypuści szkodliwe oprogramowanie, by narobić szkód w całym sektorze. Dlatego wierzy w konsorcja branżowe promujące dobre praktyki – i w to, że przyjazna człowiekowi SI prędzej czy później pojawi się na horyzoncie, tak jak pojawiła się etyczna i wyjaśnialna SI.
Kot to nie tylko kalorie
Brytyjski uczony nie pozostaje jednak ślepy na zagrożenia. SI grozi wyścig mający na celu monopolizację rynku. W technologiach zwycięzca bierze wszystko, więc firmy chcą pierwsze podbić rynek, by mieć dostęp do jak największej liczby danych i zyskać przewagę.
Co więcej, w tym wyścigu technologicznym biorą dziś udział także państwa, co sprawia, że oporu wobec regulacji można się spodziewać z różnych stron. A regulacje, podkreśla Russell, są niezbędne, byśmy zaczęli rozwijać SI, która będzie się liczyć z człowiekiem.
By zrozumieć zalety takiego systemu, nie trzeba wcale myśleć o apokalipsie i superinteligencji. Wystarczy wyobrazić sobie maszynę, która patrząc na naszego kota, będzie widziała nie tylko wartości odżywcze, ale także istotę ważną dla domowników. System swobodnie poruszający się w różnych kontekstach z pewnością będzie miał większy potencjał komercyjny.
Ludzka niedoskonałość
Na drodze do przyjaznej SI są jednak także inne przeszkody. Być może największą z nich jest ludzka natura – w swoich zachowaniach nie jesteśmy przecież ani szczególnie racjonalni, ani nazbyt konsekwentni. To spore wyzwanie dla maszyny, która miałaby nas zrozumieć. A gdy dodamy do tego celowe działanie niektórych z nas na szkodę innych, uświadomimy sobie, że przed SI piętrzy się cała masa trudności.
Czy więc pozwolimy dorosnąć sztucznej inteligencji? I czy sami do niej dojrzejemy? Odpowiedź na te pytania pozostaje otwarta.
Tekst na podstawie: Stuart Russell, „Human Compatible. Artificial Intelligence and The Problem of Control”, Viking 2019; Stuart Russell, „The Purpose Put into The Machine” [w:] Possible Minds. Twenty-Five Ways of Looking at AI, ed. John Brockman, Penguin Press, New York 2019.