Z tą aplikacją staniesz się kompozytorem. Wekinator pomoże ci stworzyć nowe instrumenty muzyczne. Z autorką aplikacji Rebekką Fiebrink rozmawia Monika Redzisz
Monika Redzisz: Stworzyła pani Wekinator – aplikację, która pozwala nam tworzyć nowe instrumenty muzyczne. Dzięki zastosowaniu algorytmów uczenia maszynowego uczymy komputer reagowania odpowiednim dźwiękiem na nasze gesty. Stajemy się kompozytorami. Jak reagują użytkownicy?
Rebecca Fiebrink*: Tworzenie nowych instrumentów muzycznych w naszej aplikacji jest dla nich zazwyczaj zaskakująco łatwe i przyjemne. Dzięki czujnikom i kamerze użytkownik pokazuje ruchy, jakie chce wykonywać, i paruje je z dźwiękami, jakie komputer ma wygenerować w odpowiedzi. To znacznie szybszy i prostszy proces niż napisanie odpowiedniego programu, nawet w wykonaniu doświadczonego programisty.
Wekinator umożliwia takie działanie także osobom, które nie mają wykształcenia programistycznego ani nie znają się na uczeniu maszynowym. Są w stanie się tego nauczyć dosłownie w kilka minut. To bardzo intuicyjne. Zwykle trudno jest nam ruch opisać słowami, a co dopiero zapisać go w postaci kodu lub matematycznego równania. Zazwyczaj, rozmawiając na ten temat, posługujemy się przykładami: „Porusza się jak…”, „Nie, raczej jak…” – mówimy. To spora ulga – móc po prostu pokazać, jaki ruch mamy na myśli, a nie próbować tłumaczyć naszą wizję na język programowania.
Ludzie zwykle dobrze się przy tym bawią. Poruszają się i słuchają, jakie są tego efekty. Zdarza się, że słyszą dźwięki, jakich nie słyszeli jeszcze nigdy w życiu. Jeśli nie są zadowoleni z ich brzmienia, mogą podać aplikacji kolejne przykłady i wytrenować algorytmy jeszcze raz. To proste.
Skąd pomysł na taką aplikację?
Interesuję się muzyką i uczeniem maszynowym. W 2006 roku zaczęłam pisać doktorat o roli, jaką uczenie maszynowe może odegrać w tworzeniu systemów rekomendacyjnych i analizujących utwory muzyczne. Bardziej jednak zainteresowało mnie to, jak z uczenia maszynowego mogliby skorzystać muzycy i kompozytorzy. Jakie nowe rodzaje muzyki mogliby stworzyć? Jakie nowe instrumenty zbudować? W tym czasie nie istniały jeszcze narzędzia, które umożliwiałyby muzykom korzystanie z uczenia maszynowego bez głębokiej znajomości programowania; postanowiłam więc takie narzędzie wymyślić. Dzięki współpracy z wieloma osobami udało mi się zbudować aplikację, która ma bardzo wiele twórczych zastosowań. Pozwala wykorzystywać uczenie maszynowe w praktyce artystycznej.
Z jakimi najbardziej ciekawymi realizacjami artystycznymi powstałymi dzięki tej aplikacji się pani spotkała?
Dzięki niej powstało wiele fantastycznych nowych instrumentów muzycznych. Michelle Nagai była jedną z pierwszych kompozytorów, którzy zaczęli używać Wekinatora. Stworzyła instrument z dużego kawałka kory drzewnej, który nazwała MARtLet. W korę wbudowała czujniki światła. Gra się na niej w ten sposób, że poruszając dłońmi, rzuca się na nią cienie. Wekinator przetwarza tę płynącą z czujników świetlną informację na dźwięki.
Czasem bywa tak, że nadmiar możliwości rozleniwia i wpływa paradoksalnie na mniejszą kreatywność twórców. Czy w przypadku najnowszych technologii takich jak uczenie maszynowe jest inaczej? Czy dzięki tej aplikacji powstały już jakieś arcydzieła muzyki czy sztuki współczesnej?
Jak najbardziej. Aplikacja jest używana przez profesjonalnych artystów, którzy tworzą niezwykłe dzieła sztuki. Kompozytorka, Laetitia Sonami, znana jest ze swoich pionierskich prac przy tworzeniu nowych instrumentów muzycznych. To ona stworzyła na początku lat 90. pierwszą rękawicę sterującą muzyką. Laetitia od ośmiu lat używa Wekinatora. Zbudowała dzięki niemu instrument, który nazwała Spring Spyre. To metalowe sprężyny rozpięte na okrągłej metalowej ramie; gra się, dotykając delikatnie sprężyn, a Wekinator przetwarza ten ruch na dźwięki, które różnią się w każdym utworze. Ruch sprężyn jest na tyle skomplikowany, że trudno byłoby stworzyć z nich instrument muzyczny bez pomocy uczenia maszynowego. Przez te osiem lat Laetitia pchnęła twórcze wykorzystanie uczenia maszynowego na nowe tory, odkrywając nowe dźwięki i szukając równowagi pomiędzy ich przewidywalnością a zaskoczeniem, jakie budziły.
Wekinator umożliwia tworzenie cyfrowej muzyki i sztuki także osobom, które nie mają wykształcenia programistycznego ani nie znają się na uczeniu maszynowym
Nie mam poczucia, że Wekinator rozleniwia; on raczej pomaga zrobić to, co wcześniej było albo bardzo trudne, albo w ogóle niemożliwe. Uczenie maszynowe pozwala uczyć się na przykładach i nie wymaga pisania kodu. Łatwiej więc jest zbudować system, który rozpoznaje nasze ruchy. Można dzięki temu budować złożone interakcje, w których wiele aspektów ruchu lub działań człowieka może sterować wieloma aspektami procesu cyfrowego – muzyką lub animacją.
Ile osób mniej więcej osób korzysta z Wekinatora? Czy sięgają po niego także ludzie spoza kręgu programistów i muzyków zajmujących się sztuką współczesną?
Wekinator został pobrany ponad 25 tysięcy razy. Używają go studenci sztuki cyfrowej, kreatywnego programowania, projektowania gier i interakcji. Czy to na moich kursach online, czy na innych kursach ludzie używają go, ucząc się uczenia maszynowego i interakcji w czasie rzeczywistym z użyciem czujników. Niektórzy z użytkowników to zawodowi muzycy i kompozytorzy, którzy wykorzystują go do tworzenia nowych instrumentów muzycznych lub robiąc performance’y, w których światło lub wizualizacje podążają za muzyką. Inni to projektanci gier interaktywnych, którzy mogą wykorzystywać uczenie maszynowe, mimo że nie są programistami i nie mieli wcześniej żadnej wiedzy na ten temat. Dla jeszcze innych Wekinator jest prostym narzędziem do szybkiego prototypowania i udoskonalania systemów czasu rzeczywistego.
Źródło: ISSUE Project Room / Vimeo
Razem z moimi współpracownikami stworzyliśmy także wiele innych podobnych narzędzi wykorzystujących uczenie maszynowe, które są dedykowane konkretnym użytkownikom. Na przykład: interfejs API RAPID-MIX dla programistów w branżach kreatywnych, narzędzie InteractML dla projektantów gier czy Sound Control dla nauczycieli i terapeutów tworzących nowe instrumenty muzyczne dla dzieci niepełnosprawnych.
Czy spotkała się pani z osobami, które nie mają wykształcenia muzycznego, a którym tego typu narzędzia pozwoliły rozwinąć skrzydła?
Wekinator z pewnością umożliwił wielu ludziom robienie rzeczy, których wcześniej nie mogli robić, a to przynosi ogromną satysfakcję. Zarówno Wekinator, jak i Sound Control były przydatne w tworzeniu nowych instrumentów, na których grają osoby z różnymi rodzajami niepełnosprawności. Korzystając z uczenia maszynowego, bardzo łatwo jest stworzyć instrumenty, na których można grać, poruszając się tak, jak komu wygodnie, i te właśnie ruchy dopasowując do dźwięków, które chce się zagrać.
Aplikacja jest używana przez profesjonalnych artystów, którzy tworzą niezwykłe dzieła sztuki
Znam co najmniej jeden przypadek dziecka, które dzięki Sound Control zagrało swój pierwszy koncert solowy w życiu. W wielu innych przypadkach to oprogramowanie po prostu ułatwia ludziom ekspresję i muzyczną interakcję z innymi. Wielu moich studentów stworzyło dzięki niemu naprawdę fantastyczne i unikalne interaktywne projekty, na które sama nigdy bym nie wpadła. Pomaga i dzieciom, i dorosłym odkrywać swój talent i twórczo się rozwijać.
Których artystów korzystających w swojej twórczości ze sztucznej inteligencji ceni pani najbardziej?
Nieustannie inspiruje mnie twórczość Laetitii Sonami, ale także Christine Meinders, która wykorzystuje Wekinator w edukacji, m.in. na warsztatach Feminist AI, i Phoenix Perry, która tworzy gry ucieleśnione. Jeśli chodzi o inne zastosowania sztucznej inteligencji, to jestem wielką fanką prac Anny Ridler, Memo Akten i Mario Klingemanna.
Czy używanie uczenia maszynowego w sztuce wiąże się także z jakimiś zagrożeniami?
Owszem, jest kilka wyzwań, które przed nami stają, kiedy wykorzystujemy uczenie maszynowe do generowania muzyki, obrazu, wideo lub tekstu. Żeby algorytmy uczenia maszynowego działały dobrze i były użyteczne, wymagają ogromnych ilości danych – zestawów szkoleniowych. Pojawia się w związku z tym szereg problemów etycznych i prawnych.
Artysta, którego twórczość jest wykorzystana do trenowania algorytmu, w tej chwili nie otrzymuje z tego tytułu żadnego wynagrodzenia, nie jest przez nikogo doceniona, mimo że wpływa na efekt końcowy, a osoby, które trenują algorytm, mogą sprzedawać stworzone przez siebie dzieła sztuki za znaczne kwoty.
Ponadto problematyczne treści zawarte w zestawach szkoleniowych mogą pojawić się na nośnikach stworzonych przez wyszkolone modele; na przykład algorytmy generujące teksty tworzą rasistowskie, seksistowskie i inne kontrowersyjne wypowiedzi, ponieważ takie właśnie wzorce zawarte były w danych użytych do ich wytrenowania. Kolejna sprawa to kwestia energii potrzebnej do zbudowania najnowocześniejszych modeli uczenia maszynowego. Ślad węglowy algorytmów uczenia głębokiego i wielu innych stosowanych w sztuce – jest ogromny.
*Dr Rebecca Fiebrink – profesor Creative Computing Institute na University of the Arts w Londynie. Zajmuje się wpływem sztucznej inteligencji na praktykę artystyczną. Twórczyni Wekinatora – aplikacji wykorzystującej uczenie maszynowe dla muzyków, artystów, projektantów gier i nauczycieli. Prowadziła pierwsze na świecie zajęcia online poświęcone uczeniu maszynowemu w muzyce i sztuce. Ma tytuł doktora informatyki Uniwersytetu Princeton.
Dr Rebecca Fiebrink wystąpi już we wtorek 22 września na konferencji Masters&Robots. Konferencja organizowana jest przez fundację Digital University, instytucję zajmującą się edukacją w dziedzinie transformacji cyfrowej i kompetencji przyszłości. Tegoroczna, czwarta już edycja odbywa się online w dniach 22-24 września pod hasłem „Technology and Humanity in Never Normal World”.
Portal sztucznainteligencja.org.pl jest patronem medialnym wydarzenia.
Więcej informacji można znaleźć na stronie: https://mastersandrobots.tech/