Pytanie do par: czy chcielibyście wiedzieć, jak wyglądałoby wasze dziecko? Młodzi badacze dla zabawy sprawdzili, czy da się to przewidzieć z użyciem sieci neuronowych. Potrafią to
– Pomysł ten był żartem, ale czytając odpowiednią literaturę, odnieśliśmy wrażenie, że istnieją odpowiednie dane i technologia – napisali młodzi izraelscy programiści na medium.com.
Wymyślili oni, że spróbują nauczyć maszynę przewidywać, jak mogą wyglądać dzieci konkretnych par. Na początku mieli problem z doborem odpowiedniej bazy danych, która by zawierała zdjęcia mam, ojców i ich dzieci. Większość baz zawierała zdjęcia dzieci z jednym z rodziców. W końcu znaleźli taką, jakiej potrzebowali, choć była niewielka. Nazywa się TSKinFace.
Korzystają z niej badacze, którzy m.in. uczą sztuczną inteligencję rozpoznawać pokrewieństwo wśród ludzi. Nie jest to wielki zbiór – zawiera ok. 1500 zestawów zdjęć: matka, ojciec, dziecko. Jest za to skalowalny, zorganizowany, a zdjęcia są jednakowego formatu.
Do wyszkolenia zespół użył algorytmu opierającego się na przeciwstawnych sieciach neuronowych GAN. Wymyślił je w 2014 roku w ciągu jednej nocy Ian Goodfellow, pracownik Google, a obecnie zatrudniony w Apple jako szef od uczenia maszynowego w projektach specjalnych. Teraz, modyfikowane bądź nie, mają szerokie zastosowanie, od zabawy w aplikacjach (np. postarzających czy odmładzających twarze na zdjęciach) po rozwiązywanie bardzo istotnych problemów, a także nieczystej gry (deepfakes), w tym również militarnej. Sieci GAN używane są do przerabiania zdjęć i filmów.
Architektura GAN składa się z dwóch sieci neuronowych, sieci generatora i sieci dyskryminatora. Można je porównać do fałszerza obrazów i znawcy sztuki. Celem sieci generatywnej jest „oszukanie” dyskryminatora, dlatego jest ona stale ulepszana, aż stworzy bardzo atrakcyjnych kandydatów (obrazy), które są zbliżone do prawdziwych do tego stopnia, że trudno odróżnić czy są rzeczywiste, czy fałszywe.
Uczestnicy projektu wybrali StyleGAN, sieci opracowane i wstępnie wyszkolone w generowaniu twarzy przez NVIDIĘ i udostępnione w 2019 roku. Model StyleGan wypluwa wygenerowane losowe zdjęcia twarzy na podstawie „obejrzanych” portretów. Nie do końca o to chodziło zespołowi, który chciał mapować twarz do reprezentującego ją wektora. Wykorzystali więc istniejący algorytm Image2StyleGAN, który ogólnie rzecz biorąc odwraca proces StyleGAN.
Zespół użył algorytmu opierającego się na przeciwstawnych sieciach neuronowych GAN
– Zaczęliśmy od zmapowania wszystkich obrazów (zarówno rodziców, jak i dzieci) do utajonego wektora StyleGan. Po zarchiwizowaniu tego pozostaje tylko wytrenować model, który przewidywałby utajony wektor dziecka na podstawie utajonych wektorów jego rodziców – wyjaśniają na blogu w medium.com i zapraszają chętnych do ulepszania modelu poprzez udostępnienie projektu na GiTHub. Sami pobawili się swoim modelem, generując twarze swoich przyszłych dzieci, a nawet wnuków.
Za projektem stoją: Idan Brusilovsky, badacz uczenia maszynowego w firmie Israeli&Co., Jonathan Zarecki, absolwent Izraelskiego Instytutu Technologicznego, Noam Cohen i Lior Shkiller, założyciele start-upu Tetrix Health, który wykorzystuje sztuczną inteligencję w produktach rynku zdrowia oraz Uriel Singer, obecnie zatrudniony jako szef zespołu uczenia maszynowego w Israeli Military Intelligence w jednostce nr 8200 (jest to jednostka Izraelskiego Korpusu Wywiadowczego odpowiedzialna za zbieranie informacji o sygnałach wywiadowczych i rozszyfrowywanie kodów).