Niektóre sieci neuronowe działają lepiej, jeśli sobie pośpią. Czy myślące maszyny przyszłości będą musiały odpoczywać i zapadać w sen?
W powieści Philia K. Dicka, na podstawie której powstał film „Blade Runner”, androidy śnią o elektrycznych owcach. A skoro śnią, to potrafią też spać. Do wczoraj to była tylko literacka fikcja. Do wczoraj…
Badacze ze słynnego Los Alamos Laboratory w Stanach Zjednoczonych dowiedli bowiem właśnie, że niektóre maszyny potrafią, a nawet powinny spać. Zespół Yijing Watkins zajmuje się tam symulowaniem zachowań sieci neuronowych. Badaczy najbardziej interesują spiking neural networks – sieci symulujące sposób, w jaki ludzie i zwierzęta uczą się widzieć.
W akcie desperacji
Na początku badań zespół, pracując nad tzw. nienadzorowanym uczeniem słownikowym (polega na klasyfikacji obrazów bez podania uprzednich przykładów), borykał się z niestabilnością tych sieci. Okazało się, że to skutek długiego, nieprzerwanego uczenia się. Jednak po wzbudzeniu w tych sieciach stanu analogicznego do fal, które powstają w mózgu podczas spania, ich działanie znów było stabilne. „To tak, jakbyśmy zapewnili sieciom neuronowym odpowiednik porządnego snu” – komentuje Watkins w artykule na temat badań.
Naukowcy piszą, że zdecydowali się „usypiać” sieci niemal w akcie desperacji, bo inne metody już nie działały. Zaczęli eksperymentować z wprowadzaniem do sieci szumu. Najlepszy okazał się tak zwany szum gaussowski (w akustyce odpowiada mu tzw. szum biały). Zespół stawia hipotezę, że taki szum naśladuje to, co dzieje się w żywych neuronach podczas snu głębokiego. Idąc dalej, sugerują, że sen głęboki (czasem zwany powolnym) może działać w podobny sposób – sprawia, że żywe sieci neuronów odzyskują stabilność.
Po co ten sen?
Z eksperymentów wiadomo, że ludzie pozbawieni snu przez dłuższy czas cierpią na halucynacje i omamy. Być może są one spowodowane właśnie brakiem stabilności żywej sieci obliczeniowej, którą tworzą neurony. A sen po prostu przywraca tę stabilność.
To ciekawa hipoteza, bo mimo postępów w biologii i medycynie kwestia konieczności snu u zwierząt posiadających układ nerwowy pozostaje tajemnicą. Niewiele wiadomo o tym, dlaczego jest tak niezbędny – potrzebują go nawet malutkie muszki owocówki.
Może inteligentne maszyny przyszłości będą się uczyć tak jak my: poznawać świat, a potem, by wszystko zapamiętać – zasypiać?
Ale nie wszystkie sieci tak mają, tłumaczy Watkins. Większość badaczy sieci neuronowych, głębokiego uczenia i sztucznej inteligencji operuje systemami, na których można wykonać pewne operacje w całej sieci neuronowej (np. zwiększa się liczbę połączeń między węzłami sieci czy modyfikuje ich wagę) i odzyskać sprawność systemu. Nawiasem mówiąc, ciekawym zbiegiem okoliczności na żywym systemie można dokonać tylko jednej „operacji na całej sieci” – poddać go narkozie.
Srebrne druciki
Jednak to nie pierwszy raz, kiedy sieci naśladujące działanie układów biologicznych zapadają w coś w rodzaju snu.
James Gimzewski od lat bada sieci neuromorficzne zbudowane ze srebrnych nanodrucików. Nad takimi sieciami neuronowymi, fizycznymi i opartymi o reakcje elektrochemiczne, pracują też zespoły w Europie. W czasopiśmie naukowym „Nature Communications” naukowcy z Centrum Badawczego Jülich pisali, że takie sieci „są uważane za jednych z najbardziej obiecujących kandydatów do emulowania zachowań synaps i tworzenia sztucznych sieci neuronowych”.
Prąd płynący przez taką sieć sprawia, że niektóre druciki się łączą, co przypomina proces uczenia się w mózgu. Wtedy też pojawiają się nowe połączenia między neuronami. W niektórych eksperymentach badacze zauważyli, że im mniejsze napięcie przepływa przez taki układ, tym bardziej wzorzec jego aktywności przypomina fale śpiącego mózgu.
Cel: sztuczny mózg
Gimzewski nie ukrywa, że jego celem jest silna sztuczna inteligencja. Uważa, że nie da się tego osiągnąć za pomocą klasycznej architektury opartej na układach scalonych, operujących zerami i jedynkami. „Chcę stworzyć maszynę, która myśli. Chcę stworzyć sztuczny mózg” – przyznał w „Progress of Materials Nanoarchitectonics” już w 2012 roku.
Jego słowa warto potraktować poważnie, bo to naukowiec, który poza Intelem współpracował kilkoma noblistami. Co ciekawe, badacze z Los Alamos, którzy odkryli potrzebę snu swoich sieci neuronowych, uruchamiają je na neuromorficznych chipach Intela – Loihi. Coś więc jest na rzeczy.
Być może im bardziej będziemy chcieli naśladować zachowanie złożonych systemów biologicznych, tym więcej wspólnych cech sztucznej inteligencji i istot żywych będziemy odkrywać. Może inteligentne maszyny przyszłości będą się uczyć tak jak my: poznawać świat, a potem, by wszystko zapamiętać – zasypiać?
Nie jest też wykluczone, że zupełnie przypadkiem zespół Yijing Watkins odkrył nowe uzasadnienie snu: może to po prostu cecha pewnego rodzaju układów obliczeniowych? W takim przypadku byłoby naturalne to, że zagadkę rozwiązali właśnie inżynierowie.