Lokalizacja wielorybów i delfinów u wybrzeży Tanzanii ujawniła nielegalne połowy ryb z użyciem bomb. Odkrycie to zapoczątkowało badania akustyczne z użyciem uczenia maszynowego
Bombardowanie ryb niszczy ekosystem
Analizując dane naukowcy wychwycili dźwięki, niepochodzące od zwierząt. Okazały się one dalekosiężnymi sygnaturami akustycznymi nielegalnych połowów. Polegają na rzucaniu bomby do wody w celu zabicia lub ogłuszenia ryb tak, aby rybacy łatwo mogli je zbierać. Bomby niszczyły wszystkie gatunki zwierząt, uszkadzały rafy koralowe i powodowały duży hałas.
Aby ustalić miejsca wybuchów dr Gill Braulik z Uniwersytetu w St. Andrews wraz z Code for Africa zainstalowali 4 najnowocześniejsze stacje nagraniowe wzdłuż północnego wybrzeża Tanzanii.
Każda stacja ma 3 zsynchronizowane hydrofony połączone z najnowocześniejszą jednostką rejestrującą (SoundTraps). Pozwala to umiejscowić wybuch bomby na podstawie sygnału. Jeśli 2 lub więcej z 4 stacji odbierze sygnał wybuchu, można ustalić jego położenie (szerokość i długość geograficzną).
Urządzenia nagrywające współdziałają z urządzeniami akustycznymi o bardzo niskiej mocy. Dlatego mogą być łatwo używane przez nurków, co ma znaczenie, przy braku dostępu do specjalistycznych statków badawczych.
SoundSort efektywniejsza
Analitycy początkowo przetwarzali dane akustyczne przy pomocy PAMGuard, detektorów Ishmael i modułów generatora klipów. Ale okazało się to zbyt czasochłonne i kosztowne.
Dlatego na potrzeby tych badań powstało interaktywne narzędzie połączone z uczeniem maszynowym. Skróciło to czas analizy dużych zbiorów danych, a jednocześnie pozostawiło podejmowanie decyzji człowiekowi. Aplikacja SoundSort opiera się na działaniu t-SNE (t-distributed Stochastic Neighbor Embedding) i JavaFX8. t-SNE grupuje podobne spektogramy, a JavaFX obsługuje zadania graficzne związane z rysowaniem tysięcy klipów.
Użytkownik SoundSort naciska przycisk przeglądania i importuje kilka klipów .wav. Może je dziesiątkować, aby podświetlić niższe częstotliwości i wybrać kanał w przypadku plików wielokanałowych.
Można wyeksportować klipy z przypisami do folderów określonych przez grupę adnotacji lub wyeksportować plik z rozszerzeniem .mat z ustawieniami programu i adnotacjami. Technicznie SoundSort wymaga jeszcze dopracowania, ale stwarza obiecujące możliwości.
Algorytm t-SNE pozwala na prezentowanie klipów na siatce i grupowanie ich spektogramów. Dane klipów można zobaczyć, a także powiększać i zmniejszać siatkę lub wykres oraz opisywać klipy.
Aplikacja korzysta z wielu bibliotek
Aplikacja SoundSort działa na MacOS, Linux, PC, Ios i Android i wykorzystuje wiele bibliotek. Są to: szybka i natywna implementacja Java algorytmu t-SNE, biblioteka controlsfx dla dodatkowych bitów i elementów JavaFX, JMetro do stylizowania aplikacji dotyczących zmiennej konstrukcji.
Ponadto FontawesomeFX dla ikon, javafxsvg do czytania plików SVG, Apache Commons Math 3 do szybkiej transformacji Fouriera i mnóstwa innych użytecznych funkcji, iirj do filtrowania danych akustycznych przed dziesiątkowaniem, alg4 do zgromadzenia punktów z t-SNE i przypisania ich do siatki oraz MatFileRW do pisania i czytania plików z rozszerzeniem .mat, co pozwala na integrację kodu Java z MATLAB/Octave.