Komputer potrafi rozpoznać, który z obrazów jest radosny, a który depresyjny. Odróżnia nawet komedię od horroru
Badania neurologów z Uniwersytetu Kolorado w Boulder rzucają nowe światło na to, jak obrazy wpływają na nasze emocje. Publikacja zatytułowana „Emotion schemas are embedded in the human visual system” ukazała się w „Science Advances” . Autorami są: Philip Kragel, Marianne Reddan, Kevin LaBar i Tor Wager.
Obowiązująca teoria mówi, że wykształciliśmy w toku ewolucji emocje po to, by przetrwać. Jeśli tak, to muszą być wywoływane przez zmysłowe bodźce. Mimo to istnieje niewiele modeli komputerowych, które by odwzorowywały ten proces i odpowiadały tym samym na pytanie: w jaki sposób bodźce zewnętrzne wywołują konkretne emocje?
Neurolodzy z Uniwersytetu Kolorado podjęli próbę odpowiedzi na to pytanie. Działali na styku dwóch dziedzin: uczenia maszynowego i obrazowania mózgu. Stworzyli sieć neuronową, która poprawnie ocenia obrazy w 11 różnych kategoriach emocjonalnych.
Łatwe pożądanie, trudne zażenowanie
– Uczenie maszynowe już całkiem nieźle radzi sobie z rozpoznawaniem obiektów na zdjęciu – mówił Tor Wager, profesor psychologii i neuropsychologii, który kierował badaniami. – Chcieliśmy się dowiedzieć, czy możliwe jest, żeby program rozpoznawał na zdjęciach także emocje.
Do projektu naukowcy z jego zespołu wykorzystali istniejącą już sieć neuronową AlexNet, która potrafi rozpoznawać na zdjęciu przedmioty. Zmodyfikowali ją tak, aby przewidywała, jak się poczuje osoba, która zobaczy dane zdjęcie. Nazwali ją EmoNet.
Wytrenowali swój model na 25 tysiącach zdjęć i krótkich filmów najróżniejszej maści – od zdjęć krajobrazowych po sceny romantyczne. Zaprogramowali ją tak, żeby przydzielała obrazy do jednej z 20 kategorii emocjonalnych, takich jak pożądanie, rozbawienie, zaskoczenie, lęk itd. EmoNet poradziła sobie dobrze z 11 z nich. Najlepiej potrafiła rozpoznać obrazy wyrażające pożądanie seksualne – poprawnie w ponad 95 procentach. Słabsza była natomiast w zrozumieniu bardziej skomplikowanych emocji, takich jak zaskoczenie czy zażenowanie.
Oprócz typu emocji potrafiła ocenić ich natężenie. Umiała stwierdzić, czy film jest komedią romantyczną, horrorem czy filmem akcji. Kategoryzowała też kolory – czarny obraz określiła jako niepokój, czerwony jako pragnienie, czyli zgodnie z naszymi typowymi odruchami.
Co z oczu, to z serca
I tu przechodzimy do drugiego etapu badań. Naukowcy zaprosili do niego 18 ochotników. Podczas gdy aktywność ich mózgów była rejestrowana przez rezonans magnetyczny, oni mieli za zadanie oglądać 112 wyświetlanych po sobie obrazków; na każdy z nich mieli 4 sekundy. Dziewiętnastym „ochotnikiem” była EmoNet.
Co się okazało?
Badając aktywność mózgu osób oglądających obrazy o różnym ładunku emocjonalnym, naukowcy dowiedli, że obrazy oddziałują na nas znacznie mocniej, niż dotąd sądziliśmy.
Odkryto coś ciekawego: każdy obraz uaktywniał u badanych jakiś obszar w korze wzrokowej. Świadczyłoby to o tym, że emocje przy oglądaniu obrazów są generowane w korze wzrokowej, w różnych jej punktach, a ślady aktywności na korze wzrokowej mogą wskazywać na to, jaką emocję odczuwa człowiek. Kora wzrokowa odgrywać więc musi znaczącą rolę w tworzeniu emocji, a nie tylko – jak sądzono dotychczas – układ limbiczny w starszej części mózgu zwanej mózgiem ssaków.
– Dowodzi to, że nasz mózg generuje emocje, kategoryzuje je i odpowiada na nie na bardzo wczesnym etapie – mówi prof. Tor Wager.
Samouk EmoNet
I druga sprawa: – Odkryliśmy podobieństwo między schematami aktywności mózgu w płacie potylicznym a jednostkami w EmoNet, które kodują poszczególne emocje. To oznacza, że EmoNet nauczył się przedstawiać emocje w sposób, który jest podobny do biologicznego procesu, mimo że nie uczyliśmy go tego – mówi Philip Kragel.
Co to znaczy?
– Już AlexNet przypomina strukturą ludzki mechanizm widzenia: mamy warstwę receptorów, nad którą są kolejne warstwy neuronów, które wyciągają coraz bardziej abstrakcyjne cechy – tłumaczy prof. Krzysztof Marasek z Ośrodka Przetwarzania Informacji – Państwowego Instytutu Badawczego. – Naukowcy wykazali, że ludzie i sieć w podobny sposób reagują na zmiany tła i obrazów, robią podobne błędy i podejmują podobne decyzje. Jednak wydaje się, że ponieważ sieci wciąż nie rozumieją wielu emocji, optymistyczne wnioski są przedwczesne. Sami autorzy publikacji zaznaczają, że „konieczne jest alternatywne wyjaśnienie tego, w jaki sposób schematy emocji są mapowane na system wizualny”.
Te bardzo ciekawe badania po raz kolejny udowadniają, jak wciąż niewiele wiemy o naszym mózgu. Okazuje się, że emocje nie rodzą się w jednej części mózgu; to proces o wiele bardziej skomplikowany. Tym większym wyzwaniem jest w tym kontekście budowa sztucznych sieci neuronowych, które mają się na tych biologicznych wzorować. Ale być może właśnie to, co dzieje się w cyfrowej przestrzeni sztucznych sieci neuronowych, może rzucić światło na to, co dzieje się w naszych tajemniczych głowach.