Zachowanie chaotyczne przejawia wiele złożonych systemów: od ruchu ulicznego po pogodę. Sieci neuronowe mają czasem z tym kłopot. Ale okazuje się, że jest na to sprytny sposób. A nawet dwa
Chaos blindness to cecha sieci neuronowych (przynajmniej niektórych) polegająca na tym, że nie dostrzegają zachowań chaotycznych. To termin fizyczny, nie w potocznym słowa znaczeniu, oznaczający cechę układów złożonych, która polega na dużej wrażliwości na bardzo małe zaburzenia parametrów. Przejawiają ją niektóre układy dynamiczne, a doskonałym przykładem jest stan atmosfery.
Odkrył to w 1960 roku amerykański matematyk i meteorolog Edward Lorenz, który pracował nad komputerowym prognozowaniem pogody. Stworzył układ równań opisujących relacje między parametrami opisującymi stan atmosfery (temperaturą, ciśnieniem, prędkością wiatru, etc.) i był przekonany, że gdy wprowadzi się do nich odpowiednio szczegółowe dane, będzie można przewidzieć pogodę na bardzo długi czas.
Gdy wprowadził do równań w komputerze dwie niewiele różniące się od siebie liczby (były to najpierw 0,506127, a później 0,506), otrzymał dwa wykresy, które – mimo tak niewielkiej różnicy na wejściu – coraz bardziej się „rozjeżdżały”. Opisujące pogodę równania okazały się niezwykle czułe nawet na bardzo niewielkie zmiany, a różnice po dłuższym czasie rosły do bardzo dużych rozmiarów. To właśnie dlatego prognozowanie pogody na dłużej niż kilka dni jest w zasadzie nieprzydatne. Błąd lub niedokładność w obliczeniach szybko narastają.
To zaskakujące odkrycie było dyskutowane przez lata sześćdziesiąte i początek siedemdziesiątych. Trudno było uwierzyć, że (jak opisywał to Lorenz) zaburzenie wywołane trzepotem skrzydła mewy może z czasem urosnąć i wpłynąć na stan pogody setki kilometrów dalej. W 1972 r. Philip Merrilees wygłosił referat pod tytułem „Czy uderzenie skrzydeł motyla w Brazylii wywołuje tornado w Teksasie” (Does the flap of a butterfly’s wings in Brazil set off a tornado in Texas?). Nazwa „efekt motyla” przyjęła się potocznie, matematycy i fizycy mówią o „układach chaotycznych”, a teoria chaosu jest działem matematyki.
Sposób na motyla
Zdjęcie wahadła nie pozwoli nam przewidzieć, jak bardzo się wychyli – i to ilustruje problem, jaki mają sieci neuronowe. Poza danymi wejściowymi, odpowiednikiem zdjęcia, sztuczna inteligencja wie o układzie niewiele. Ale ruch wahadła można opisać za pomocą hamiltonianu. To matematyczna funkcja uwzględniająca sumę energii w układzie. W przypadku wahadła opisuje, jak bardzo się wychyli i z jaką częstotliwością będzie oscylować.
Hamiltonian może być sekretem, który pozwoli nauczyć sieci neuronowe, jak unikać „efektu motyla”. To pierwszy krok na drodze do sieci neuronowych, które znają prawa fizyki i pozwalają rozwiązywać trudne problemy
Badacze z North Carolina State University stwierdzili, że jeśli w parametrach sieci neuronowej zapisać hamiltonian danego układu chaotycznego, to lepiej przewiduje zachowania takiego układu. Badania dotyczyły modelu Hénona-Heilesa (opisującego skomplikowany ruch gwiazd w centrum galaktyki), więc mają niewielkie znaczenie praktyczne. Ale naukowcy chcieli jedynie wykazać, czy zakładany przez nich sposób się sprawdzi (było to badanie typu proof of concept).
Jak na stronie uczelni komentuje wyniki badań John Lindner, jeden z autorów pracy opublikowanej w „Physical Review E”, hamiltonian może być sekretem, który pozwoli nauczyć sieci neuronowe, jak unikać „efektu motyla”. To pierwszy krok na drodze do sieci neuronowych, które znają prawa fizyki i pozwalają rozwiązywać trudne problemy – dodaje.
Ślepe na chaos? Niekoniecznie
Nie jest jednak tak, że sieci neuronowe są zupełnie „ślepe” na zachowania chaotyczne, jak twierdzą badacze z North Carolina University.
W dwóch pracach naukowych opublikowanych trzy lata temu w naukowych czasopismach „Physical Review Letters” oraz „Chaos: An Interdisciplinary Journal of Nonlinear Science” matematycy z University of Maryland pod kierunkiem znanego badacza teorii chaosu Edwarda Otta zajęli się równaniami Kuramoto-Shivashinskiego, które przewidują niestabilność czoła pożaru. Rozchodzenie się płomieni to też dynamiczny układ wrażliwy na zaburzenia, choć innego rodzaju (choćby dlatego, że tu nie ma okresowych wahań).
Sztucznej inteligencji udało się przewidzieć wynik równań na wiele kroków więcej niż superkomputer, dokonujący obliczenia na podstawie matematycznych równań. W „Chaos: An Interdisciplinary Journal of Nonlinear Science” badacze dowodzili, że ich metoda sprawdzi się w przewidywaniu zachowania wielu innych fizycznych systemów, na przykład rozchodzenia się impulsów elektrycznych w sercu. Do uczenia wykorzystali model zwany reservoir computing. W skrócie metoda polegała na wprowadzeniu numerycznego modelu rozchodzącego się ognia do jednej sieci o strukturze losowej (zwanej rezerwuarem, stąd reservoir) i nauczenia drugiej sieci, żeby z każdym krokiem coraz dokładniej przewidywała zachowanie tej pierwszej.
Dzisiejsze sieci neuronowe coraz lepiej radzą sobie też z przewidywaniem pogody, choć trzeba przyznać, że w bardzo ograniczonym zakresie. Sieci CapsNet opracowanej na Uniwersytecie Rice’a udaje się przewidzieć fale mrozów i upałów (ze skutecznością 85 proc.). Zaś algorytm opracowany przez Google’a przewiduje pogodę „na żywo” na kilka godzin naprzód. W dłuższej perspektywie nadal lepsze są tradycyjne superkomputery wyliczające prognozy na podstawie równań.
Być może pogodę, rozprzestrzenianie się pożarów, rozchodzenie impulsów elektrycznych w sercu, czy ruch gwiazd w galaktyce będą mogły przewidywać szybsze superkomputery i dokładniejsze modele matematyczne, uwzględniające więcej szczegółów. Ale możliwe jest, że równania opisujące numeryczne modele nigdy nie będą wystarczająco dokładne, niezależnie od mocy obliczeniowych tradycyjnych komputerów. Wtedy będziemy zdani właśnie na sieci neuronowe.