Czy badanie mózgów może być kluczem do lepszej sztucznej inteligencji? Jak najbardziej, twierdzi neurobiolog Anthony Zador. Przecież zwierzęta i ludzie uczą się znacznie szybciej niż sieci neuronowe
Co sprawia, że maszyny mogą się uczyć? Sztuczne sieci neuronowe, wykorzystywane na przykład w widzeniu maszynowym, zapamiętują, bo zasada ich działania oparta jest na funkcjonowaniu naturalnych układów nerwowych. Sygnał między elementami sieci może ulegać osłabieniu lub wzmocnieniu, co przypomina działanie biologicznych neuronów w mózgach.
Z grubsza wiadomo, że do przetwarzania obrazów bardziej nadają się sieci o jednej architekturze (splotowe sieci neuronowe, zwane też konwolucyjnymi), a z przetwarzaniem języków naturalnych, na przykład rozpoznawaniem mowy, lepiej radzą sobie sieci o innej budowie (sieci rekurencyjne). Rodzajów różnych sieci jest więcej i bardzo się między sobą różnią w budowie.
Efekty działania sztucznej inteligencji bywają znakomite, ale wybór odpowiedniej sieci to często działanie po omacku. Badacze tworzą tysiące różnych struktur, testują ich działanie na zbiorze danych, po czym wybierają sieć najskuteczniejszą. To dlatego, że zaskakująco niewiele wiadomo o tym, jak budowa sieci wpływa na jej działanie. Naukowcy dopiero zaczęli odkrywać prawa, które tym rządzą.
Prawa sztucznej inteligencji
Jednym z ważniejszych odkryć w tej dziedzinie było dowiedzenie w 1989 roku, że nawet jeśli sieć ma tylko jedną warstwę, ale złożoną z nieskończonej liczby neuronów, będzie mogła obliczyć cokolwiek, co zechcemy. To (z matematycznego punktu widzenia) ważny dowód, ale w praktyce przecież nikt nie dysponuje nieskończoną liczbą niczego. Pozwoliło to jednak zrozumieć, czemu rozległe sieci mogą wychwytywać więcej różnych relacji pomiędzy danymi. Sęk w tym, że takie sieci są bardzo trudne do wyuczenia. A na domiar złego angażują dużo mocy obliczeniowej (czasem wymaganiom takich sieci nie sprostałyby dzisiejsze superkomputery).
Gdyby dziecko uczyło się tak, jak sztuczna sieć neuronowa, musiałoby przez rok co sekundę zadawać pytania i otrzymywać odpowiedzi, żeby w pierwszym roku życia zebrać podobną ilość danych co algorytm
Niedawno badacze zaczęli matematycznie opisywać kierunek przeciwny, czyli to, jak bardzo można ograniczyć liczbę neuronów w jednej warstwie, żeby sieć nadal działała. W pracy opublikowanej w ubiegłym roku badacze z Massachusetts Institute of Technology (David Rolnick i Max Tegmark) dowiedli, że zwiększanie głębokości sieci (liczby warstw) i zmniejszanie szerokości (liczby neuronów w warstwie) pozwala na wykonanie tych samych obliczeń przy wykładniczo malejącej liczbie neuronów (dla przykładu 2100 neuronów w jednej warstwie da tyle samo, co 210 w dwóch warstwach).
Jesse Johnson z Oklahoma State University udowodnił z kolei, że ograniczanie szerokości warstw jest możliwe tylko do pewnego stopnia (neuronów w jednej warstwie musi być przynajmniej tyle, ile zmiennych zawierają dane), inaczej sieć staje się do danego celu bezużyteczna.
Wreszcie w maju tego roku badacze z MIT dowiedli, że trenujemy sieci o wiele za duże, bowiem w każdej nauczonej już czegoś sieci istnieje mniejsza, którą można wyuczyć nowego zadania. Nauczone raz sieci neuronowe można przyciąć do jednej dziesiątej pierwotnych rozmiarów, a potem wykorzystać ponownie do innych celów.
Naturalna wzorem dla sztucznej
Jeśli chodzi o sieci neuronowe, jesteśmy więc na etapie licznych eksperymentów i odkrywania ogólnych praw. I choć sztucznym sieciom neuronowym niektóre rzeczy doskonale się udają, daleko im do ogólnej inteligencji człowieka czy nawet zwierząt. Co sprawia, że naturalne sieci neuronowe potrzebują mniej przykładów i mogą znacznie szybciej się uczyć?
W pracy, której tytuł można przetłumaczyć „Krytyka czystego uczenia i czego sztuczne sieci neuronowe mogą się nauczyć z mózgów zwierząt” (A critique of pure learning and what artificial neural networks can learn from animal brains), opublikowanej w „Nature Communications” neurobiolog Anthony Zador podaje przykład algorytmu widzenia maszynowego, który potrzebuje 107 (dziesięciu milionów) opisanych przykładów, żeby móc rozpoznawać przedmioty na obrazach w sposób choć trochę przypominający ludzki. Dziesięć milionów sekund to sto dni, odliczając czas na sen, dziecko musiałoby przez rok co sekundę zadawać pytania i otrzymywać odpowiedzi, żeby w pierwszym roku życia zebrać podobną ilość danych co algorytm. Jednak większość obrazów, które napotyka dziecko, nie jest opisana. Najwyraźniej dzieci uczą się w inny, szybszy sposób.
Liczba połączeń między neuronami w mózgach bardziej złożonych zwierząt jest zbyt wielka, żeby mogła być kodowana w genach
Neurobiolog przywołuje też przykłady tego, jak dobrze sobie radzą zwierzęta zaraz po urodzeniu, w ogóle bez konieczności długiego uczenia się. To prawda, człowiek jest tu wyjątkiem – zanim nauczymy się podstaw funkcjonowania w świecie, mija długi czas. Jednak większość zwierząt zaczyna dobrze sobie radzić w ciągu kilku, kilkunastu dni po przyjściu na świat. To czas zbyt krótki na to, by nauczyć się otaczającego świata. Znakomita część inteligentnych zachowań musi być w świecie zwierzęcym wrodzona – twierdzi neurobiolog.
U prostych zwierząt jest to w zupełności możliwe. Zador przywołuje przykład modelowego w neurobiologii nicienia C. elegans. Ich mózgi zawierają 302 neurony połączone siedmioma tysiącami synaps z grubsza w ten sam sposób u każdego z przedstawicieli gatunku. Wiadomo też, że to geny kodują przepis na ich układy nerwowe o konkretnych połączeniach.
Co może być (a co nie) zakodowane w genach
Sęk w tym, że liczba połączeń między neuronami w mózgach bardziej złożonych zwierząt jest zbyt wielka, żeby mogła być kodowana w genach. Ludzki genom zawiera 3 x 109 nukleotydów, ale mózg ma aż o dwa rzędy wielkości (1011) więcej neuronów, połączeń między nimi jest zaś o pięć rzędów wielkości więcej (1014). Gdyby każda para nukleotydów kodowała jedno połączenie neuronów, musielibyśmy mieć sto tysięcy razy więcej genów (a i to tylko dla zakodowania samej budowy mózgu). Geny nie mogą kodować szczegółowej struktury mózgu wyższych ewolucyjnie zwierząt.
Neurobiolog twierdzi, że „wąskie gardło” genetyczne (czyli to, że genów jest mniej niż możliwych połączeń neuronów) mogło w toku ewolucji wyselekcjonować geny odpowiedzialne za wszechstronność neuronów i pewien schemat ich łączliwości. Wskazują na to na przykład znaczne podobieństwa w połączeniach neuronów kory wzrokowej i słuchowej, choć pełnią zgoła inne funkcje. Być może istnieją też inne mechanizmy – geny kodują ogólne schematy połączeń zdatnych do ponownego wykorzystania wcześniej przygotowanego modelu do nowego problemu. Geny nie kodują więc struktury ludzkiego mózgu wprost, ale mogą zawierać przepis na pewien schemat, w jaki neurony się łączą. Innymi słowy – zapewniają rodzaj rusztowania, które pozwala na zapis zarówno zachowań wrodzonych, jak i szybką naukę wyuczonych.
Zador sugeruje, że to topologia połączeń i architektura sieci powinna być celem badań, jeśli chcemy ulepszać sztuczne sieci neuronowe. Jako neurobiolog twierdzi też, że rozszyfrowanie budowy mózgu będzie dla ich rozwoju kluczowe.
Naturalne sieci neuronowe powstawały przez setki milionów lat ewolucji. Geny kodujące strukturę mózgów współczesnych zwierząt powstały w wyniku 1029 prób i błędów (mniej więcej tak można szacować liczbę wszystkich kiedykolwiek żyjących zwierząt). Może sekret lepszej sztucznej inteligencji rzeczywiście – jak twierdzi Anthony Zador – kryje się w budowie naszych mózgów.