Jedného dňa uprostred decembra vstúpil chirurg ortopéd Dr. Bruno Gobbato do operačnej sály v brazílskom meste Jaraguá do Sul, nasadil si hlavovú súpravu HoloLens 2 pre zmiešanú realitu a pripravil sa na operáciu.
Vzdialene sa k nemu pripojili aj jeho kolegovia chirurgovia – profesor Thomas Gregory, ktorý nadviazal spojenie z Paríža, a Dr. John Erickson zo svojho pôsobiska v New Jersey. Pacient Dr. Gobbi mal zlomenú kľúčnu kosť, ktorá sa riadne nezahojila, a preto Dr. Gobbato musel kosť reponovať a vykonať artroskopiu ramena. V rámci tohto zákroku zaviedol do kĺbu malú kameru, aby sa pokúsil zistiť, čo je príčinou bolesti ramena.
Lekári Gregory a Erickson boli pripojení pomocou aplikácie Microsoft Dynamics 365 Remote Assist. A to, čo vo svojom zornom poli cez HoloLens videl Dr. Gobbato, mali na obrazovkách svojich počítačov vďaka Microsoft Teams. Videli pacienta a holografické obrázky, ktoré Dr. Gobbato vytvoril pomocou CT snímok. Jeden zachytával poškodenú kľúčnu kosť pacienta a druhý kosť zdravú. Títo traja chirurgovia nachádzajúci sa na troch rôznych kontinentoch prebrali, ako k zákroku pristúpiť, radili sa o každom kroku a delili sa o svoje názory.
„Boli to moji partneri, ktorí mi s operáciou pomáhali,“ hovorí Dr. Gobbato. „Mali sme francúzske, americké a juhoamerické stanovisko, v operačnej sále bola prítomná ,jedna štvrtina sveta‘.“
Zákrok bol súčasťou projektu, ktorého cieľom je ukázať, ako zariadenie HoloLens 2 môže pomáhať chirurgom a umožniť spoluprácu medzi lekármi z celého sveta. Projekt začal profesor Gregory, ktorý v roku 2017 vykonal prvú operáciu s použitím pôvodného zariadenia HoloLens. Do tejto iniciatívy sa zapojili ortopédi z 13 krajín na piatich kontinentoch.
„Mali sme francúzske stanovisko, americké stanovisko a tiež juhoamerické stanovisko. V operačnej sále bola prítomná jedna štvrtina sveta.“ Dr. Gobbato
V čase od novembra 2020 do januára 2021 vykonalo 12 lekárov s použitím zariadení HoloLens zákroky od operácie kolena v Spojených arabských emirátoch až po náhradu ramenného kĺbu v Juhoafrickej republike. Spolu s profesorom Gregorym sa k nim vždy pripájali aj ďalší lekári, ktorí operácie sledovali a ponúkali svoje postrehy.
Pre profesora Gregoryho predstavoval projekt spôsob, ako predviesť výhody zariadenie, ktoré vníma ako „smartfón pre chirurgov“. Podotýka, že veľa ľudí používa smart telefóny, aby vo svojej každodennej práci rýchlo získali prístup k informáciám. No v sterilnom prostredí operačnej sály nemôžu chirurgovia používať smartfóny alebo počítače. Zákroky zvyčajne plánujú vopred, a keď sa operácia začne, majú len veľmi obmedzený prístup k údajom o pacientovi alebo ďalším zdrojom informácií.
Keď bolo zariadenie HoloLens v roku 2016 po prvýkrát uvedené na trh, profesor Gregory okamžite rozpoznal, aký by mohlo mať potenciál, ak ho budú chirurgovia používať ako nástroj na získavanie informácií a komunikáciu. Zrazu si mohol vyvolávať informácie gestami rúk alebo hlasovými príkazmi a nemusel sa pritom dotýkať myši alebo klávesnice.
„Práve to som hľadal už niekoľko rokov,“ hovorí profesor Gregory, vedúci oddelenia ortopedickej a traumatologickej chirurgie v parížskej nemocnici Avicenna Hospital a profesor ortopedickej chirurgie na univerzite Université Sorbonne Paris Nord.
„Uvedomil som si, že môžem HoloLens používať ako počítač alebo smartfón a získať počas operácie akékoľvek potrebné informácie, kedykoľvek ich budem potrebovať. To chirurgom umožňuje byť rýchlejší a efektívnejší a zlepšovať sa vo svojej práci.“
Dr. Gobbato, ktorý sám seba označuje za technologického geeka, toľko túžil zariadenie HoloLens získať, že len čo bolo uvedené na trh, nasadol do lietadla a letel osem hodín do Miami, aby ho tam zakúpil. Pri zložitejších operáciách ho používa už niekoľko rokov.
„Naozaj si myslím, že zmiešaná realita sa bude v budúcnosti v operačnej sále používať pre veľa vecí,“ hovorí Dr. Gobbato. „Som nadšený z toho, čo prostredníctvom nej budeme v priebehu niekoľkých najbližších rokov môcť vykonávať.“
Zariadenie HoloLens sa ovláda pomocou gest rúk a hlasových príkazov a umožňuje chirurgom zobraziť si trojrozmerné holografické obrázky anatómie pacienta vytvorené röntgenovými alebo inými snímkami. Chirurgovia môžu tieto virtuálne obrázky presúvať a prezerať si ich z rôznych uhlov. HoloLens im tiež počas operácie poskytuje prístup k údajom o pacientovi, môžu si vyvolať videá alebo dokumenty, ktoré im pomôžu riešiť problémy, alebo si vyžiadať rady od iných špecialistov.
Dr. John Sledge, chirurg ortopéd z Lafayette v štáte Louisiana, vykonal jeden z prvých zákrokov v rámci projektu HoloLens, a to 10-hodinovú operáciu na stabilizáciu chrbtice prostredníctvom spinálnej fúzie. Kým sa na operáciu prizeral profesor Gregory a ďalší dvaja chirurgovia zo Spojeného kráľovstva a Spojených arabských emirátov, Dr. Sledge si vyvolal röntgenové a CT snímky spodnej časti chrbta pacienta, aby lokalizoval kovové prvky, ktoré bolo nutné odstrániť, a zistil, aká poloha nástrojov mu k nim zaistí najlepší prístup. Vopred načítal tiež snímky urobené krátko pred pacientovou nehodou, aby mohol ostatným chirurgom vysvetliť predoperačnú históriu.
„Bez zariadenia HoloLens,“ hovorí Dr. Sledge, „by som bol obmedzený len na niekoľko snímok z vyšetrení pacienta, ktoré by som videl na obrazovke počítača,“ a pokračuje: „K dispozícii mám len veľmi obmedzený súbor dát. HoloLens mi umožňuje vyvolať si snímky, aké chcem, a podľa potreby si ich zväčšiť. Všetky potrebné zábery mám doslova pred sebou, v akejkoľvek veľkosti a ostrosti ich chcem mať.“
„Zariadenie HoloLens je tiež užitočné pri plánovaní operácií a pri výučbe,“ hovorí Dr. Sledge. Keď napríklad plánuje operáciu ramena, môže si vytvoriť holografickú reprezentáciu pacientovho ramena, aby zistil, kam umiestniť implantát alebo či je potrebné kosť zrekonštruovať.
Ako Dr. Sledge uvádza, na rozdiel od vytlačenia 3D repliky kosti, na ktorej si operáciu môže vyskúšať len jedenkrát, v holograme si svoj prístup môže otestovať, koľkokrát bude potrebovať. Na účely výučby môže vygenerovať trojrozmerné interaktívne modely akéhokoľvek chirurgického zákroku alebo do hologramu dokonca zapracovať simulované komplikácie, napríklad fraktúru alebo neočakávané krvácanie, ktoré medici či začínajúci lekári musia vyriešiť.
„V medicíne, a najmä chirurgii, stále máme úlohu učňa. Stokrát niekoho sledujete pri operácii, než ju smiete sám vykonať,“ hovorí Dr. Sledge. „Teraz však môžeme neatestovaného lekára nechať vykonať 100 operácií na zariadení HoloLens vrátane vzácnych komplikácií a ich riešenia. Môžeme ho vyškoliť pre najhoršie možné scenáre. Na zariadení HoloLens môžeme problém navodiť a začínajúci lekár ho musí vyriešiť.“
„Môžeme štandardizovať výučbu chirurgov tak, aby si všetci absolventi na celom svete povinne prešli všetky prípady v knižnici HoloLens, ktoré sa týkajú ich špecializácie, a naučili sa ich riešiť,“ uvádza. „Je obrovský rozdiel medzi tým, keď sa pozeráte, ako niekto iný rieši nejaký problém, a keď ho musíte vyriešiť sami.“
Než chirurg ortopéd Dr. Stefan Greiner súhlasil so zapojením do projektu profesora Gregoryho, ktorý je jeho dobrým priateľom, nikdy predtým zariadenie HoloLens nepoužil. Dr. Greiner sa najprv na toto zariadenie pozeral skepticky a považoval ho za „ďalšiu hračku“, ktorá by v zriedkavých prípadoch mohla byť užitočná.
No len čo sa ho naučil používať, začal Dr. Greiner objavovať ďalšie možnosti. Očakáva, že mu zariadenie umožní zobraziť si zábery počas artroskopickej operácie, aby stále nemusel odbiehať pohľadom na obrazovku, na ktorej sa v priebehu operácie obraz z artroskopu premieta.
„Myslím, že to zvýši presnosť a bezpečnosť operácií, pretože sa nebudete musieť pozerať inam,“ hovorí Dr. Greiner, ktorý riadi oddelenie zamerané na liečbu a operácie ramena a lakťa na klinike Sporthopaedicum Regensburg, jednom z najväčších zariadení športovej medicíny v Nemecku.
Zariadenie HoloLens by podľa neho tiež mohlo pomôcť pripravovať pacientov na operáciu, pretože by im zákrok vysvetlilo prostredníctvom hologramov alebo animácií. „Je oveľa zrozumiteľnejšie, keď vidíte hologramy v akcii, ako keď si môžete len prezrieť malý obrázok,“ hovorí. „Pre pacientov by bolo veľmi užitočné, aby pochopili, aký zákrok ich čaká.“
Ani Dr. Ashish Babhulkar pred svojím zapojením do projektu profesora Gregoryho nikdy predtým zariadenie HoloLens nepoužíval. Dr. Babhulkar, ktorý v nemocnici a výskumnom centre Deenanath Mangeshkar v indickom meste Pune vedie oddelenie pre úrazy ramena a športové úrazy, vykonal v spolupráci s profesorom Gregorym a ortopédom zo Spojeného kráľovstva dve operácie reverznej náhrady ramenného kĺbu, v rámci ktorých zaberá hlavica a jamka v ramennom kĺbe obrátenú polohu.
Než implantát jamky umiestnil, s využitím podnetov od týchto dvoch lekárov si Dr. Babhulkar premietol holografický obraz implantátu cez pacienta, aby mal istotu, že bude na miesto dokonale pasovať. Vo svojom zornom poli mal tiež chirurgickú príručku s trojrozmernými videami pre každý z krokov, v ktorej si chirurgovia vyhľadali zariadenia, ktoré pre operáciu ramena použil profesor Gregory.
Aj keď Dr. Babhulkar túto príručku pre operáciu nepotreboval, videl, aké užitočné môže zariadenie HoloLens byť ako nástroj na výučbu. „Predstavte si, že niekto v Keni, kto má zariadenie HoloLens, bude chcieť začať vykonávať takéto operácie. Nebude musieť cestovať do Indie, aby sa to naučil,“ hovorí Dr. Babhulkar. „Môžeme ho procesom previesť bez toho, že by robil chyby, a pomôcť mu získať istotu. V niektorých odľahlých oblastiach to spôsobí prevrat v liečbe.“
Táto skúsenosť, ako uvádza, ho presvedčila, že HoloLens bude do budúcnosti v medicíne nenahraditeľným nástrojom. „Toto zariadenie je také výkonné, že ako sa s ním budeme čoraz lepšie oboznamovať, budeme doň každý rok pridávať ďalšie inovatívne aplikácie,“ uvádza. „Dúfam, že ho nakoniec budeme používať pri všetkých našich prípadoch.“
Foto: Dr. Ashish Babhulkar, ktorý pôsobí v indickom meste Pune, sa domnieva, že HoloLens spôsobí v niektorých odľahlých oblastiach prevrat v liečbe. Fotografiu vydal Soumik Kar.
Zariadenie HoloLens a rovnako tak jeho predchodcu – rad zariadení Kinect pre detekciu pohybu – vytvoril Alex Kipman, držiteľ ocenenia Microsoft Technical Fellow. Tento vizionársky konštruktér si uvedomoval, že je potrebné zariadenie, ktoré zmysluplne a trojrozmerne spojí fyzický a digitálny svet.
Alex Kipman sa rozhodol vyvinúť zariadenie, ktoré by dokázalo chápať ľudí a ich prostredie a pretvorilo digitálny svet z plochých sklenených obdĺžnikov, ako sú displeje počítačov a telefónov, na svet hologramov, s ktorými je možné interaktívne pracovať alebo ich pomocou simulovať reálny svet.
Prvé zariadenie HoloLens bolo uvedené v roku 2016 a v novembri 2019 potom nasledovalo zariadenie HoloLens 2. Toto zariadenie je vybavené prepracovaným hardvérom na mapovanie okolitého prostredia a kamerou sledujúcou oči, a preto rozumie priestoru, kde je používané, a vie, na čo sa používateľ práve zameriava. Aplikácia Microsoft Dynamics 365 Remote Assist bola navrhnutá s cieľom prepojiť zariadenie HoloLens so službou Teams, aby používatelia mohli spolupracovať s ľuďmi po celom svete.
Pred desiatimi rokmi by sme si asi ťažko dokázali predstaviť, že chirurgovia budú pri operáciách používať holografické obrázky alebo aké možnosti by technológia hybridnej reality mohla v medicíne priniesť. Zariadenie HoloLens 2 sa dnes v odvetví zdravotnej starostlivosti používa v širokej škále aplikácií od virtuálnej účasti na vizitách v nemocniciach pre študentov medicíny až po liečbu pacientov s ochorením COVID-19 a virtuálneho pacienta HoloPatient, ktorý prostredníctvom simulácie rôznych ochorení umožňuje školiť lekára a štandardizovať liečbu.
„Používanie zariadení HoloLens pri operáciách predstavuje nový smer, ktorý vpred ťahajú ľudia ako profesor Gregory a ďalší priekopníci v lekárskom odbore,“ hovorí Elena Bonfiglioli, riaditeľka spoločnosti Microsoft pre zdravotníctvo a vedy o živej prírode v oblasti Európy, Stredného východu a Afriky.
„Títo lídri pristupujú k operáciám, pri ktorých sa už veľmi dlhý čas využívajú tradičné postupy, úplne novým spôsobom,“ uvádza. „Pokrokovosť týchto lekárov spočíva v ich schopnosti predstaviť si a realizovať zmeny. Z hľadiska používania zariadení HoloLens pri operáciách stojíme ešte len na samom začiatku, ale cesta je vytýčená a našli sa aj iniciátori zmien.“
Podľa Eleny Bonfiglioli spočíva sila zariadenia HoloLens v tom, že v spoľahlivom digitálnom prostredí dokáže cez reálny svet premietnuť objekty a dáta a umožniť prirodzený spôsob výučby. „Holografické výpočtové prostriedky budú do budúcnosti rozširovať možnosti medicíny, pretože k vizuálnemu vnímaniu pridávajú novú dimenziu,” hovorí. „Dimenzia spolupráce existovala už dlho. Mali sme dimenziu dát založenú na umelej inteligencii. No nemali sme to, čo je pre ľudí veľmi typické, a síce vizuálne rozšírenia. Preto ponúka také prevratné možnosti. Samotná technológia je iniciátorom zmien a otvára nové cesty tým, ktorí si dokážu predstaviť budúcnosť.“
Oddelenie profesora Gregoryho používa zariadenie HoloLens 2 pri všetkých operáciách už viac ako rok a stalo sa súčasťou jeho každodennej praxe. Mladší kolegovia mu na zariadení HoloLens volajú, aby si vyžiadali radu, keď sa počas operácie vyskytnú problémy. Profesor Gregory môže počas operácie požiadať o názor ďalšieho špecialistu alebo môže vyzvať sestru, aby pripravila nasledujúceho pacienta.
V januári 2020 otvorila spoločnosť Microsoft v partnerstve s profesorom Gregorym a ďalšími odborníkmi výskumné a vzdelávacie centrum Inštitút Move zamerané na umelú inteligenciu v chirurgii. Toto centrum, ktoré sa nachádza na Université Sorbonne Paris Nord a prepája informatikov, matematikov a chirurgov, učí zdravotníkov používať zariadenie HoloLens pri operáciách.
Medzi ďalšie plány patrí zhromažďovať údaje zariadení HoloLens z operácií a s ich využitím vyvíjať algoritmy, ktoré by mohli zlepšiť chirurgické zákroky alebo dokonca na základe pohybov očí odhaľovať, že operujúci lekár sa dostáva do problémov.
Na rozdiel od chirurgických robotov používaných pre niektoré typy minimálne invazívnych operácií, ktorých cena sa pohybuje okolo dvoch miliónov dolárov, je HoloLens podľa profesora Gregoryho zariadenie, ktoré s oveľa nižšími nákladmi môže chirurgii sprístupniť umelú inteligenciu dokonca aj v malých lekárskych zariadeniach po celom svete.
„V HoloLens získavame nástroj, ktorý demokratizuje túto digitálnu revolúciu vo všetkých operačných sálach po celom svete,“ hovorí. „Má to obrovský vplyv. Myslím, že v budúcnosti sa chirurgovia pri operáciách bez zariadenia HoloLens nezaobídu.“
Na webe experiences.micrcosoft.com získate ďalšie informácie o tejto spolupráci a môžete sa pozrieť na diskusie za okrúhlym stolom a rozhovory s odborníkmi o budúcnosti technológií a zdravotnej starostlivosti.
Horný obrázok: Chirurg ortopéd Dr. John Sledge používa hlavovú súpravu HoloLens 2 počas operácie spinálnej fúzie v Lafayette v štáte Louisiana. Fotografiu vydal John Melancon/Burning Stick Creative.