Smartfonowa aplikacja do badania kaszlu, urządzenia monitorujące kaszlących na ulicach czy badania przesiewowe plików audio w celu uchwycenia głosowego „odcisku palca” COVID-19. Naukowcy z całego świata szukają sposobu na skuteczną analizę objawu choroby, aby szybciej wykryć zakażonych koronawirusem
Kaszel suchy czy mokry? To pytanie już wkrótce mogą nam zadawać automaty. A raczej same będą nadstawiać „ucha”.
Masz COVID-19? Nagraj się!
Szwajcarscy naukowcy z École polytechnique fédérale de Lausanne (EPFL) pracują nad „koronawirusową” aplikacją na smartfona. Cel? Przygotować ogólnodostępne rozwiązanie, które mogłoby być alternatywą dla konwencjonalnych testów. Ma ono bowiem wykrywać, czy kaszel użytkownika może świadczyć o zarażeniu COVID-19.
System o nazwie Coughvid opiera się na sztucznej inteligencji i został opracowany przez pięciu badaczy z Embedded Systems Laboratory (ESL) lozańskiej politechniki z udziałem prof. Davida Atienzy, szefa ESL.
Aplikacja jest wciąż rozwijana i zostanie wydana w ciągu kilku najbliższych tygodni. Będzie bezinwazyjna, bezpłatna i anonimowa, ale oczywiście nie zastąpi ludzkiej diagnozy. Przeznaczona jest dla osób, które podejrzewają u siebie rozwój choroby COVID-19, ma potwierdzać, czy istnieje takie ryzyko. Wskaźnik jej dokładności wyliczono na 70 procent.
Mikrofon smartfona nagrywa kaszel użytkownika aplikacji. Ten przy zakażeniu koronawirusem SARS-CoV-2 jest w 67,7 procent przypadków suchy (dane Światowej Organizacji Zdrowia), podczas gdy przeziębienie lub alergia dają w większości przypadków kaszel mokry. SI rozróżnia różne rodzaje kaszlu. Tak samo tradycyjnie, lekarskim uchem, obok innych równoległych procedur diagnostycznych, diagnozuje się m.in. krztusiec, astmę czy zapalenie płuc.
Obecnie zespół prof. Atienzy zbiera jak najwięcej danych, aby wyszkolić aplikację do rozróżniania kaszlu osób z COVID-19, osób zdrowych i tych z innymi dolegliwościami układu oddechowego.
Naukowcy proszą chorych z COVID-19, którzy chcieliby wziąć udział w pracach rozwojowych, o zarejestrowanie swojego kaszlu pod adresem https://coughvid.epfl.ch/. Badacze zalecają, aby nagrywające urządzenie (smartfon, komputer) zamknąć w foliowej torebce i zachować wszelkie środki ostrożności związane z kaszlem rozprzestrzeniającym wirusa.
Izrael powołał głos do wojska
Podobne plany ma izraelski start-up zajmujący się analizą głosu. Dwa tygodnie temu Reuters poinformował o planach budowy platformy opartej na sztucznej inteligencji, która wykorzystuje nagrania głosowe do wykrywania i monitorowania stanu zdrowia.
Projekt realizowany jest przez firmę Vocalis Health we współpracy z siłami zbrojnymi Izraela i – jak zapowiadał szef tamtejszego MON-u – jego celem jest stworzenie unikalnego głosowego „odcisku palca” koronawirusa. Firma rozpoczęła już oparte na analizie dźwięków testy w celu prowadzenia badań przesiewowych i monitorowania objawów COVID-19. Podobnie jak w przypadku EPFL dane będzie zbierać za pomocą aplikacji mobilnej. Jak podały izraelskie media, aby zwiększyć skuteczność, spółka chce pozyskać ogromną ich liczbę. Docelowo ma to być nawet do 100 tysięcy próbek. Następnie system będzie mógł być użyty jako tester za pomocą aplikacji w telefonie lub innych urządzeń zapisujących dźwięki.
Zdaniem naukowców COVID-19 bezpośrednio wpływa nie tylko na sam kaszel, ale i na głos człowieka, a zatem nie powinno być problemów z jego wyłapaniem.
Vocalis Health twierdzi, że objawy koronawirusa można wykryć za pomocą pewnych zleconych przez platformę zadań głosowych, polegających na wydawaniu odpowiednich dźwięków. Próbką dla systemu mogłyby być też wypowiadane przez użytkownika platformy komentarze czy opowieści, na przykład opis własnego dnia. Analizując głos, system naniesie odpowiednie markery na wypowiadane dźwięki, a następnie dokona weryfikacji.
Magiczne pudełko z USA
Z kolei naukowcy z University of Massachusetts Amherst opracowali ponad rok temu przenośne urządzenie monitorujące nazwane FluSense, oparte na uczeniu maszynowym, które może w czasie rzeczywistym wykrywać w przestrzeni publicznej kaszel, a za jednym zamachem większe zgromadzenia ludzi (dziś nielegalne), a następnie analizować dane w celu bezpośredniego monitorowania chorób grypopodobnych.
– Nasze modele były szkolone w czasach, gdy nie było ognisk COVID-19. Ponieważ jednak ta choroba ma bardzo podobne cechy do grypy, uważamy, że nasze rozwiązanie można rozszerzyć również o wykrywanie statystyk epidemii COVID-19 – tłumaczył portalowi sztucznainteligencja.org.pl Forsad Al Hossain, doktorant i główny autor rozwiązania z University of Massachusetts Amherst.
Twórcy FluSense twierdzą, że nowa platforma obliczeniowa, przeznaczona do użytku w szpitalach, poczekalniach ośrodków opieki zdrowotnej i większych przestrzeniach publicznych, może rozszerzyć arsenał narzędzi do monitorowania zdrowia wykorzystywanych do prognozowania sezonowej grypy i innych epidemii wirusowych dróg oddechowych, takich jak COVID-19.
– Używamy modeli głębokiego uczenia opartych na CNN [Convolutional Neural Network – konwolucyjnych sieci neuronowych] do klasyfikowania kaszlu ze spektrogramów audio. Model został wdrożony na platformie składającej się z Raspberry Pi i Intel Neural Computing Stick – tłumaczy Forsad Al Hossain. – Co prawda w tej chwili nie pracujemy nad rozwiązaniem specjalnie dla COVID-19, ale istnieją jednak niuanse między kaszlem COVID-19 (suchy kaszel) a zwykłym kaszlem. Jest to potencjalny kierunek badań, którymi jesteśmy bardzo zainteresowani w kolejnym etapie – dodał.
Zdaniem Al Hossaina model został przetestowany w różnych hałaśliwych ustawieniach. Wdrożono go m.in. w szpitalnych poczekalniach, w których występuje umiarkowana aktywność tłumu.
– W przyszłości chcemy wykorzystać nasze urządzenie w większej liczbie miejsc i zweryfikować FluSense w różnych warunkach środowiskowych – zapewnia badacz.
Platforma FluSense wykorzystuje zarówno zestaw mikrofonów, jak i obrazy termowizyjne. Nie przechowuje żadnych danych osobowych. Badacze najpierw opracowali laboratoryjny model kaszlu, a następnie wytrenowali sieci neuronowe w celu analizy obrazu i dźwięku. Od grudnia 2018 roku do lipca 2019 platforma FluSense zgromadziła i przeanalizowała ponad 350 tysięcy obrazów termicznych i 21 milionów próbek dźwięku bez mowy z miejsc publicznych (pięć urządzeń było wdrożonych w budynku University Health Services). Naukowcy odkryli, że FluSense był w stanie dokładnie przewidzieć dzienny wskaźnik chorób w klinice uniwersyteckiej. Wiele uzupełniających się zestawów sygnałów FluSense jest „silnie skorelowanych” – jak zapewniają twórcy systemu – z testami laboratoryjnymi dotyczącymi chorób grypopodobnych i samej grypy.
W tej chwili nie ma jednak żadnych aktywnych urządzeń, a cały uniwersytet jest zablokowany z powodu pandemii.
Komentarz eksperta
Jacek Kawalec, VoiceLab
Jestem przekonany, że rozpoznawanie chorób po rodzaju kaszlu przez rozwiązania z obszaru analizy głosu czy dźwięku jest jak najbardziej możliwe. Podobnie jak radzi sobie z tym człowiek. Dziś lekarz potrafi rozpoznać kaszel i przypisać go do odpowiedniego typu choroby. Z ostatnich publikacji naukowych dotyczących uczenia maszynowego wynika, że modele bazujące na głębokich sieciach neuronowych są w stanie dyskryminować [czyli wyróżniać – red.] rodzaje kaszlu i potencjalnie przypisać je do odpowiednich jednostek chorobowych.
Tak więc z dużą dozą pewności można wskazać, że podobnie jak w przypadku biometrii głosowej, zakładając dobrą jakość danych i nakładając na to sposób analizy kaszlu np. na podstawie danych medycznych, jesteśmy w stanie analizować skutecznie kaszel będący objawem COVID-19.
Na pewno jednak skuteczność i precyzja zależą od ilości i jakości danych. Głównym problemem dla firm i naukowców w Polsce będzie zebranie odpowiedniej liczby próbek. Raczej idącej w tysiące osób, bo na mniejszej liczbie nie uda się tego przeprowadzić skutecznie. Do tego trzeba je odpowiednio oznaczyć, być może takie dane już są i wynikają z innej diagnostyki.
Wszystko zależy też od tego, co chcemy osiągnąć. Czy zależy nam na szybkiej diagnostyce przesiewowej poprzez aplikację na telefon z elementami wywiadu medycznego? Czy może na nieco głębszych, dokładniejszych badaniach w oparciu o dużą ilość danych z wielu miesięcy czy lat – do wykorzystania w celu wykrywania objawów w szpitalach czy ośrodkach zdrowia?
Żeby zbudować system o odpowiedniej skuteczności, należy zainwestować dużo wysiłku i czasu odpowiednio przeszkolonych naukowców z wykorzystaniem dużej ilości oznaczonych danych i sporej liczby serwerów. To wszystko będzie wpływało na koszt przedsięwzięcia.