Kilka kresek ołówkiem i odpowiedni algorytm tworzy z tego realistyczny niczym zdjęcie portret. Fotografia zakryta pikselami? To też żaden problem
Algorytmy coraz lepiej radzą sobie z rekonstrukcjami twarzy na podstawie niepełnych danych. Może mieć to znaczenie w kryminalistyce. Ale przyda się i cywilom, i artystom.
Jak donosi „New Scientist” zespół Lin Gao z Chińskiej Akademii Nauk stworzył algorytm, który może odtworzyć wizerunek z prostego rysunku. Badacze wykorzystali dostępną bazę danych 17 tysięcy zdjęć celebrytów i wykorzystali istniejące już oprogramowanie, które krok po kroku zamienia fotografie twarzy w czarno-biały szkic. Potem na parach oryginalnych zdjęć i powstałych rysunków wytrenowali sieć neuronową.
Nauczono ją rozpoznawania pięciu cech: każdego oka z osobna, nosa, ust oraz reszty twarzy. Na podstawie szkicu sieć odtwarza jak najbardziej realistyczne zdjęcie, następnie skleja elementy ze sobą. Wynik jest bardzo przekonywujący. Jedynym problemem jest kolor skóry – baza danych ze zdjęciami celebrytów zawiera głównie osoby białe.
Narzędzie z pewnością przyda się w kryminalistyce, gdzie tworzy się portrety pamięciowe sprawców przestępstw – teraz na podstawie szkicu policyjnego rysownika będzie można stworzyć realistyczny portret. Ale z pewnością narzędzie docenią też artyści, którzy tworzą na potrzeby gier lub filmów.
Zespół chciałby teraz wytrenować sztuczną inteligencję, by na podstawie szkicu odtwarzała także realistyczne obrazy przedmiotów.
Pracę opublikowano w serwisie ArXiv.
Na podstawie szkicu policyjnego rysownika będzie można stworzyć realistyczny portret
Z kolei zespół z Duke University opracował algorytm przywracający rozpikselowanym zdjęciom ich pierwotną ostrość. Takie narzędzia istniały już wcześniej, jednak ich skuteczność była ograniczona – gdy rozdzielczość zdjęcia była niższa niż ośmiokrotność oryginału, niewiele były w stanie odtworzyć.
To dlatego, że starsze metody po prostu zgadują, jaka kombinacja pierwotnych pikseli może pasować do większego kwadratu, który je zastąpił. Zespół amerykańskich badaczy zdecydował się na inne podejście – wykorzystał sieć neuronową GAN, (generative adversarial network).
Takie sieci składają się w istocie z dwóch konkurujących ze sobą podsieci (stąd w nazwie „adversarial”, skądinąd spokrewnione z polskim „adwersarz”). W tym przypadku jedna sieć generowała obrazy twarzy o wysokiej rozdzielczości na podstawie nieostrych obrazów, po czym druga decydowała, czy są wystarczająco przekonujące – czyli podobne do oryginału.
Dzieło amerykańskiego zespołu pozwala na odtworzenie zdjęć, których jakość jest 64 razy niższa niż oryginału – czyli potrafi zamienić zdjęcie o rozdzielczości zaledwie 16 na 16 pikseli w takie o rozdzielczości 1024 na 1024 pikseli. Cynthia Rudin, kierowniczka zespołu twierdzi, że ich metoda pozwala nawet na rekonstrukcję takich detali jak drobne zmarszczki, rzęsy, czy lekki zarost.
Badacze rozwiewają obawy – do trenowania sieci wykorzystali sztucznie generowane, choć realistyczne twarze, a ich metoda nie pozwala (na razie) na rekonstrukcję zdjęcia z kamery, na przykład monitoringu, w ostry portret. Służyć może na razie do generowania realistycznych twarzy z kombinacji kwadratów. Było to bowiem przedsięwzięcie typu „proof of concept”, czyli miało na celu wykazanie, czy stworzenie takiego algorytmu jest w ogóle możliwe.
Ale ta sama zasada, na której badacze oparli swój algorytm może teoretycznie posłużyć do odtwarzania realistycznych zdjęć z obrazów o niskiej rozdzielczości. Mogą być to oczywiście twarze (co może zainteresować branżę ochrony i służby bezpieczeństwa), ale taka technika może się przydać także w badaniach mikroskopowych, astronomii czy analizie obrazów satelitarnych. Można też przypuszczać, że wkrótce trafi do naszych telefonów komórkowych, jako opcja „kosmicznego zoomu”, która będzie mogła wyostrzać detale na zdjęciach zrobionych z oddali.
Zatem, przestępcy, strzeżcie się! Dzięki algorytmom sztucznej inteligencji żadna twarz nie pozostanie już wkrótce nierozpoznana.