Skip to Main Content

Projekt založený na zařízení HoloLens umožňuje spolupráci chirurgů na celém světě

Jednoho dne uprostřed prosince vstoupil chirurg ortoped Dr. Bruno Gobbato na operační sál v brazilském městě Jaraguá do Sul, nasadil si náhlavní soupravu HoloLens 2 pro smíšenou realitu a připravil se na operaci.

Vzdáleně se k němu připojili také jeho kolegové chirurgové – profesor Thomas Gregory, který navázal spojení z Paříže, a Dr. John Erickson ze svého působiště v New Jersey. Pacient Dr. Gobbata měl zlomenou klíční kost, která se řádně nezhojila, a proto Dr. Gobbato musel kost reponovat a provést artroskopii ramene. V rámci tohoto zákroku zavedl do kloubu malou kameru, aby se pokusil zjistit, co je příčinou bolesti ramene.

Lékaři Gregory a Erickson byli připojeni pomocí aplikace Microsoft Dynamics 365 Remote Assist. A to, co ve svém zorném poli přes HoloLens viděl Dr. Gobbato, měli na obrazovkách svých počítačů díky Microsoft Teams. Viděli pacienta a holografické obrázky, které Dr. Gobbato vytvořil s pomocí CT snímků. Jeden zachycoval poškozenou klíční kost pacienta a druhý kost zdravou. Tito tři chirurgové nacházející se na třech různých kontinentech probrali, jak k zákroku přistoupit, radili se o každém kroku a dělili se o své názory.

„Byli to mí partneři, kteří mi s operací pomáhali,” říká Dr. Gobbato. „Měli jsme francouzské, americké a jihoamerické stanovisko, na operačním sále byla přítomna „jedna čtvrtina světa“.“

Zákrok byl součástí projektu, jehož cílem je ukázat, jak zařízení HoloLens 2 může pomáhat chirurgům a umožnit spolupráci mezi lékaři z celého světa. Projekt započal profesor Gregory, který v roce 2017 provedl první operaci s použitím původního zařízení HoloLens. Do této iniciativy se zapojili ortopedové z 13 zemí na pěti kontinentech.

„Měli jsme francouzské stanovisko, americké stanovisko a také jihoamerické stanovisko. Na operačním sále byla přítomna jedna čtvrtina světa.“

V době od listopadu 2020 do ledna 2021 provedlo 12 lékařů s použitím zařízení HoloLens zákroky od operace kolena ve Spojených arabských emirátech až po náhradu ramenního kloubu v Jihoafrické republice. Spolu s profesorem Gregorym se k nim vždy připojovali i další lékaři, kteří operace sledovali a nabízeli své postřehy.

Pro profesora Gregoryho představoval projekt způsob, jak předvést výhody zařízení, které vnímá jako „smartphone pro chirurgy“. Podotýká, že spousta lidí používá chytré telefony, aby ve své každodenní práci rychle získali přístup k informacím. Ve sterilním prostředí operačního sálu ale nemohou chirurgové smartphony nebo počítače používat. Zákroky obvykle plánují předem, a jakmile operace začne, mají jen velice omezený přístup k údajům o pacientovi nebo dalším zdrojům informací.

Když bylo zařízení HoloLens v roce 2016 poprvé uvedeno na trh, profesor Gregory okamžitě rozpoznal, jaký by mohlo mít potenciál, budou-li ho chirurgové používat jako nástroj pro získávání informací a komunikaci. Najednou si mohl vyvolávat informace gesty rukou nebo hlasovými příkazy a nemusel se přitom dotýkat myši nebo klávesnice.

„Právě to jsem hledal už řadu let,“ říká profesor Gregory, vedoucí oddělení ortopedické a traumatologické chirurgie v pařížské nemocnici Avicenne Hospital a profesor ortopedické chirurgie na univerzitě Université Sorbonne Paris Nord.

„Uvědomil jsem si, že mohu HoloLens používat jako počítač nebo smartphone a získat během operace jakékoli potřebné informace, kdykoli je budu potřebovat. To chirurgům umožňuje být rychlejší a efektivnější a zlepšovat se ve své práci.“

Dr. Bruno Gobbato. Fotografie uveřejněna s jeho laskavým svolením.

Dr. Gobbato, který sám sebe označuje za technologického geeka, tolik toužil zařízení HoloLens získat, že jakmile bylo uvedeno na trh, nasedl do letadla a letěl osm hodin do Miami, aby ho tam zakoupil. Používá toto zařízení při složitějších operacích již několik let.

„Opravdu si myslím, že smíšená realita se bude v budoucnu na operačním sále používat pro spoustu věcí,“ říká Dr. Gobbato. „Jsem nadšený z toho, co prostřednictvím ní budeme během několika příštích let moci provádět.“

Zařízení HoloLens se ovládá pomocí gest rukou a hlasových příkazů a umožňuje chirurgům zobrazit si trojrozměrné holografické obrázky anatomie pacienta vytvořené rentgenovými nebo jinými snímky. Chirurgové mohou tyto virtuální obrázky přesouvat a prohlížet si je z různých úhlů. HoloLens jim také během operace poskytuje přístup k údajům o pacientovi, mohou si vyvolat videa nebo dokumenty, které jim pomohou řešit problémy, nebo si vyžádat rady od jiných specialistů.

Dr. John Sledge, chirurg ortoped z Lafayette ve státě Louisiana, provedl jeden z prvních zákroků v rámci projektu HoloLens, a sice 10hodinovou operaci za účelem stabilizace páteře prostřednictvím spinální fúze. Zatímco operaci přihlížel profesor Gregory a další dva chirurgové ze Spojeného království a Spojených arabských emirátů, Dr. Sledge si vyvolal rentgenové a CT snímky spodní části zad pacienta, aby lokalizoval kovové prvky, které bylo nutné odstranit, a zjistil, jaká poloha nástrojů mu k nim zajistí nejlepší přístup. Předem načetl také snímky pořízené krátce před pacientovou nehodou, aby mohl ostatním chirurgům vysvětlit předoperační historii.

„Bez zařízení HoloLens,“ říká Dr. Sledge, „bych byl omezen jen na několik snímků z vyšetření pacienta, které bych viděl na obrazovce počítače,“ a pokračuje: „K dispozici mám jen velice omezenou sadu dat. HoloLens mi umožňuje vyvolat si snímky, jaké chci, a podle potřeby si je zvětšit. Všechny potřebné snímky mám doslova před sebou, v jakékoli velikosti a ostrosti je chci mít.“

„Zařízení HoloLens je také užitečné při plánování operací a při výuce,“ říká Dr. Sledge. Když například plánuje operaci ramene, může si vytvořit holografickou reprezentaci pacientova ramene, aby zjistil, kam umístit implantát nebo zda je zapotřebí kost zrekonstruovat.

Jak Dr. Sledge uvádí, na rozdíl od vytištění 3D repliky kosti, na které si operaci může vyzkoušet jen jedenkrát, v hologramu si svůj přístup může otestovat, kolikrát bude potřebovat. Pro účely výuky může vygenerovat trojrozměrné interaktivní modely jakéhokoli chirurgického zákroku nebo do hologramu dokonce zapracovat simulované komplikace, například frakturu nebo neočekávané krvácení, které medici či začínající lékaři musí vyřešit.

„V medicíně, a zejména chirurgii, stále máme roli učedníka. Stokrát někoho sledujete při operaci, než ji smíte sám provést,“ říká Dr. Sledge. „Teď ale můžeme neatestované lékaře nechat provést 100 operací na zařízení HoloLens, včetně vzácných komplikací a jejich řešení. Můžeme je vyškolit pro nejhorší možné scénáře. Na zařízení HoloLens můžeme problém navodit a začínající lékař ho musí vyřešit.“

„Můžeme standardizovat výuku chirurgů tak, aby si všichni absolventi na celém světě povinně prošli všechny případy v knihovně HoloLens, které se týkají jejich specializace, a naučili se je řešit,“ uvádí. „Je obrovský rozdíl mezi tím, když se díváte, jak někdo jiný řeší nějaký problém, a když ho sami musíte vyřešit.“

Dr. Stefan Greiner. Fotografie zveřejněna s jeho laskavým svolením.

Než chirurg ortoped Dr. Stefan Greiner souhlasil se zapojením do projektu profesora Gregoryho, který je jeho dobrým přítelem, nikdy předtím zařízení HoloLens nepoužil. Dr. Greiner nejprve na toto zařízení pohlížel skepticky a považoval ho za „další hračku“, která by ve vzácných případech mohla být užitečná.

Jakmile se ale zařízení naučil používat, začal Dr. Greiner objevovat další možnosti. Očekává, že mu zařízení umožní zobrazit si snímky během artroskopické operace, aby stále nemusel odbíhat pohledem na obrazovku, na níž se obvykle během operace obraz z artroskopu promítá.

„Myslím, že to zvýší přesnost a bezpečnost operací, protože se nebudete muset dívat jinam,“ říká Dr. Greiner, který řídí oddělení zaměřené na léčbu a operace ramene a lokte na klinice Sporthopaedicum Regensburg, jednom z největších zařízení sportovní medicíny v Německu.

Zařízení HoloLens by podle něj také mohlo pomoci připravovat pacienty na operaci, protože by jim zákrok vysvětlilo prostřednictvím hologramů nebo animací. „Je daleko srozumitelnější, když vidíte hologramy v akci, než když si můžete jen prohlédnout malý obrázek,“ říká. „Bylo by velice užitečné pro pacienty, aby pochopili, jaký zákrok je čeká.“

Ani Dr. Ashish Babhulkar před svým zapojením do projektu profesora Gregoryho nikdy dříve zařízení HoloLens nepoužíval. Dr. Babhulkar, který v nemocnici a výzkumném centru Deenanath Mangeshkar v indickém městě Puné vede oddělení pro úrazy ramene a sportovní úrazy, provedl ve spolupráci s profesorem Gregorym a ortopedem ze Spojeného království dvě operace reverzní náhrady ramenního kloubu, v rámci nichž zaujímá hlavice a jamka v ramenním kloubu obrácenou polohu.

Než implantát jamky umístil, s využitím podnětů od těchto dvou lékařů si Dr. Babhulkar promítl holografický obraz implantátu přes pacienta, aby měl jistotu, že bude na místo dokonale pasovat. Ve svém zorném poli měl také chirurgickou příručku s trojrozměrnými videy pro každý z kroků, v níž si chirurgové vyhledali zařízení, které pro operaci ramene použil profesor Gregory.

I když Dr. Babhulkar tuto příručku pro operaci nepotřeboval, viděl, jak užitečné může zařízení HoloLens být jako nástroj pro výuku. „Představte si, že někdo v Keni, kdo má zařízení HoloLens, bude chtít začít tuto operaci provádět. Nebude muset cestovat do Indie, aby se to naučil,“ říká Dr. Babhulkar. „Můžeme ho procesem provést bez toho, že by dělal chyby, a pomoci mu získat jistotu. V některých odlehlých oblastech to způsobí převrat v léčbě.“

Tato zkušenost, jak uvádí, ho přesvědčila, že HoloLens bude do budoucna v medicíně nepostradatelným nástrojem.„Toto zařízení je tak výkonné, že jak se s ním budeme stále lépe seznamovat, budeme do něj každý rok přidávat další inovativní aplikace,“ uvádí. „Doufám, že ho nakonec budeme používat u všech našich případů.“

Dr. Ashish Babhulkar, který působí v indickém městě Puné, se domnívá, že HoloLens způsobí v některých odlehlých oblastech převrat v léčbě. Fotografii pořídil Soumik Kar.

Zařízení HoloLens a stejně tak jeho předchůdce – řadu zařízení Kinect pro detekci pohybu, vytvořil Alex Kipman, držitel ocenění Microsoft Technical Fellow. Tento vizionářský konstruktér si uvědomoval, že je zapotřebí zařízení, které smysluplně a trojrozměrně spojí fyzický a digitální svět.

Alex Kipman se rozhodl vyvinout zařízení, které by dokázalo chápat lidi a jejich prostředí a přetvořilo digitální svět z plochých skleněných obdélníků, jako jsou displeje počítačů a telefonů, na svět hologramů, s nimiž je možné interaktivně pracovat nebo jejich pomocí simulovat reálný svět.

První zařízení HoloLens bylo uvedeno v roce 2016 a v listopadu 2019 pak následovalo zařízení HoloLens 2. Toto zařízení je vybaveno propracovaným hardwarem pro mapování okolního prostředí a kamerou sledující oči, a proto rozumí prostoru, ve kterém je používáno, a ví, na co se uživatel právě zaměřuje. Aplikace Microsoft Dynamics 365 Remote Assist byla navržena za účelem propojení zařízení HoloLens se službou Teams, aby uživatelé mohli spolupracovat s lidmi po celém světě.

Před deseti lety bychom si asi těžko dokázali představit, že chirurgové budou při operacích používat holografické obrázky, nebo jaké možnosti by technologie hybridní reality mohla v medicíně přinášet. Zařízení HoloLens 2 se dnes v odvětví zdravotní péče používá v široké škále aplikací, od virtuální účasti na vizitách v nemocnicích pro studenty medicíny až po léčbu pacientů s onemocněním COVID-19 a virtuálního pacienta HoloPatient, který prostřednictvím simulace různých onemocnění umožňuje školit lékaře a standardizovat léčbu.

„Používání zařízení HoloLens při operacích představuje nový směr, který kupředu táhnou lidé jako profesor Gregory a další průkopníci v lékařském oboru,“ říká Elena Bonfiglioli, ředitelka společnosti Microsoft pro zdravotnictví a vědy o živé přírodě v oblasti Evropy, Středního východu a Afriky.

„Tito lídři přistupují k operacím, při kterých se už velmi dlouhou dobu využívají tradiční postupy, zcela novým způsobem,“ uvádí. „Pokrokovost těchto lékařů spočívá v jejich schopnosti představit si a realizovat změny. Z hlediska používání zařízení HoloLens při operacích stojíme teprve na samém počátku, ale cesta je vytyčena a našli se také iniciátoři změn.“

Podle Eleny Bonfiglioli spočívá síla zařízení HoloLens v tom, že ve spolehlivém digitálním prostředí dokáže přes reálný svět promítnout objekty a data a umožnit přirozený způsob výuky. „Holografické výpočetní prostředky budou do budoucna rozšiřovat možnosti medicíny, protože k vizuálnímu vnímání přidávají novou dimenzi,“ říká. „Dimenze spolupráce už existovala dlouhou dobu. Měli jsme dimenzi dat založenou na umělé inteligenci. Neměli jsme ale to, co je pro lidi velice typické, a sice vizuální rozšíření. Proto nabízí tak převratné možnosti. Samotná technologie je iniciátorem změn a otevírá nové cesty těm, kdo si dokážou představit budoucnost.“

Profesor Thomas Gregory. Fotografie zveřejněna s jeho laskavým svolením.

Oddělení profesora Gregoryho používá zařízení HoloLens 2 u všech operací už více než rok a stalo se součástí jeho každodenní praxe. Mladší kolegové mu na zařízení HoloLens volají, aby si vyžádali radu, když se během operace vyskytnou problémy. Profesor Gregory může během operace požádat o názor dalšího specialistu nebo může vyzvat sestru, aby připravila dalšího pacienta.

V lednu 2020 otevřela společnost Microsoft v partnerství s profesorem Gregorym a dalšími odborníky výzkumné a vzdělávací centrum Institut Moveo zaměřené na umělou inteligenci v chirurgii. Toto centrum, které se nachází na Université Sorbonne Paris Nord a propojuje informatiky, matematiky a chirurgy, učí zdravotníky používat zařízení HoloLens při operacích.

Mezi další plány patří shromažďovat údaje zařízení HoloLens z operací a s jejich využitím vyvíjet algoritmy, které by mohly vylepšit chirurgické zákroky nebo dokonce na základě pohybů očí odhalovat, že operující lékař se dostává do potíží.

Na rozdíl od chirurgických robotů používaných pro některé typy minimálně invazivních operací, jejichž cena se pohybuje kolem 2 milionů dolarů, je HoloLens podle profesora Gregoryho zařízení, které s mnohem nižšími náklady může v chirurgii zpřístupnit umělou inteligenci dokonce i v malých lékařských zařízeních po celém světě.

„V HoloLens získáváme nástroj, který demokratizuje tuto digitální revoluci na všech operačních sálech po celém světě,“ říká. „Má to obrovský dopad. Myslím, že v budoucnu se chirurgové při operacích bez zařízení HoloLens neobejdou.“

Na webu experiences.micrcosoft.com získáte další informace o této spolupráci a můžete se podívat na diskuze u kulatého stolu a rozhovory s odborníky o budoucnosti technologií a zdravotní péče.

 Horní obrázek: Chirurg ortoped Dr. John Sledge používá náhlavní soupravu HoloLens 2 během operace spinální fúze v Lafayette ve státě Louisiana. Fotografii pořídil John Melancon / Burning Stick Creative.