• Robot nauczył się posługiwać igłą i katgutem z filmików
  • W Krakowie wykorzystają gogle do oglądania pacjenta od środka
  • Niebawem obrazy ultrasonografu lekarz zobaczy w okularach

Supernowoczesne technologie coraz odważniej wchodzą do szpitali. Maszyny potrafią już precyzyjnie pobierać krew, opiekować się pacjentami, diagnozować rozmaite chorobysugerować terapie. Szkolone są do coraz to nowych zadań, być może wkrótce asystowania przy kompleksowych zabiegach i operacjach.

Ostatnio naukowcy z Uniwersytetu Kalifornijskiego w Berkeley we współpracy z Google Brain i Intelem wyszkolili roboty w naśladowaniu szycia ran za pomocą filmów instruktażowych. To wynik projektu Motion2Vec, w którym do szkolenia maszyny wykorzystywane są filmy wideo z rzeczywistych procedur chirurgicznych.

Adres filmu na Youtube: https://www.youtube.com/watch?v=GTP7mQ-_wno&feature=emb_logo

Robot da Vinci sprawnie fastryguje tkaninę imitującą ludzką skórę
Źródło: UC Berkeley / YouTube

Dwuramienny robot da Vinci sprawnie fastryguje tkaninę imitującą ludzką skórę. Zespół medyczny zastosował system, opierający się na konfiguracji głębokich sieci neuronowych zwanych syjamskimi. Źródłem materiałów do szkolenia stał się … YouTube. System został nauczony zszywania ran na bazie 78 filmów instruktażowych. Igłą i nicią posługuje się prawie tak sprawnie, jak człowiek.

Co w środku bez krojenia

Krakowski Szpital na Klinach prowadzony przez Grupę NEO Hospital wdraża holograficzne obrazowanie danych medycznych. To rozwiązanie przygotowane przez polską firmę MedApp, specjalizującą się w SI i rzeczywistości mieszanej w medycynie. Zwie się CarnaLife Holo i umożliwia tworzenie dokładnego i interaktywnego środowiska rzeczywistości mieszanej (MR) z wykorzystaniem gogli HoloLens Microsoftu.

Wesprze specjalistów szpitala w planowaniu i przeprowadzaniu zabiegów onkologicznych o znacznym stopniu trudności. Na podstawie obrazów tomografii komputerowej (CT), rezonansu magnetycznego (MRI), angiografii (angio-CT, angio-MRI), echokardiografii (ECHO), USG i innych tworzy się wirtualny, trójwymiarowy obraz pacjenta „od środka”. CarnaLife Holo pozwala lekarzowi widzieć wirtualne obrazy organów i tkanek na tle pacjenta i daje możliwość interakcji z tymi obrazami w trakcie zabiegu medycznego.

Adres filmu na Youtube: https://www.youtube.com/watch?v=OHy0E5dt_5M

CarnaLife Holo pozwala lekarzowi widzieć wirtualne obrazy organów i tkanek na tle pacjenta
Źródło: MedApp / YouTube

Dzięki CarnaLife Holo lekarz jeszcze przed operacją w holograficznym obrazie może zobaczyć detale, aby lepiej poruszać się w polu operacyjnym już w trakcie zabiegu. W krakowskiej placówce system będzie wykorzystywany w zabiegach związanych z rakiem szyjki macicy, rakiem trzonu macicy, w przypadku operacji guzów wątroby i raka jelita grubego.

O MedApp i jego rozwiązaniach szerzej pisaliśmy w kwietniu w tekście „To nie Hollywood, to szpital”.

Wirtualne USG

Naukowcy z Instytutu Fraunhofera ds. Badań Grafiki Komputerowej IGD w Darmstadt, międzynarodowego lidera w badaniach stosowanych w dziedzinie obliczeń wizualnych, opracowali proces, który łączy ultrasonografię z rozszerzoną rzeczywistością (augmented reality, AR).

Obliczenia wizualne to informatyka oparta na obrazach i modelach, która opisuje zdolność do przekształcania informacji w obrazy (grafika komputerowa) i wydobywania informacji z obrazów (wizja komputerowa). Możliwe zastosowania są różnorodne i są wykorzystywane między innymi do interakcji człowiek-maszyna oraz interaktywnej symulacji i budowy modeli. W projekcie „sonAR” po raz pierwszy „ultrasonografia AR” umożliwia lekarzom oglądanie zdjęć ultrasonograficznych we właściwej pozycji za pomocą okularów AR.

Badacz patrzy bezpośrednio na pacjenta i nie musi cały czas spoglądać na ekran urządzenia ultradźwiękowego. Wyświetlanie obrazów ultradźwiękowych opiera się na zewnętrznym optycznym systemie śledzenia sondy ultradźwiękowej i okularach AR. Oprogramowanie Fraunhofer IGD ocenia pozycje i wykorzystuje różne kalibracje do obliczenia względnej pozycji obiektów. Przygotowywane są teksty kliniczne rozwiązania.

Skip to content