« Vous avez réellement le sentiment d’être au même endroit » : Microsoft Mesh permet aux rêves d’hier de devenir les réalités mixtes d’aujourd’hui

Guy Laliberté, cofondateur du Cirque du Soleil, a reçu au cours des années de très nombreuses propositions pour concevoir des spectacles grâce à des technologies de réalité virtuelle. Mais aucune n’arrivait à reproduire la magie de ses performances envoûtantes et visuellement époustouflantes, qui sont, elles, bien réelles. Aucune jusqu’à aujourd’hui, puisque l’arrivée d’une nouvelle plateforme Microsoft lui a fait changer d’avis.

Mardi, il est ainsi apparu sur la scène de l’événement 100% virtuel Microsoft Ignite, grâce à un procédé d’holoportation. Il s’agit-là d’une technologie qui se base sur de la capture 3D pour diffuser une image réaliste d’une personne dans une scène virtuelle. Les spectateurs de cette conférence ont pu vivre la toute première keynote entièrement conçue en réalité mixte.  Que ce soit depuis leur propre salon ou en télétravail, les participants étaient tous présents, via leurs avatars virtuels, dans un même monde holographique partagé.

Cette conférence a été l’occasion pour Microsoft de dévoiler plusieurs expériences rendues possibles par Microsoft Mesh, une nouvelle plateforme de réalité mixte tirant parti de la puissance du cloud Azure et permettant à des personnes physiquement éloignées les unes des autres de se retrouver au sein d’expériences holographiques collaboratives, quel que soit l’appareil via lequel elles se connectent.

« C’est le rêve que nous avions toujours eu en tête pour la réalité mixte, l’idée que nous avions dès le commencement » explique Alex Kipman, Technical Fellow chez Microsoft. « Vous avez réellement le sentiment d’être au même endroit que quelqu’un d’autre tout en partageant du contenu, ou bien vous pouvez vous téléporter depuis différents appareils de réalité mixte et vous retrouver avec d’autres personnes alors même que vous n’êtes pas physiquement ensemble. »

Alex Kipman est apparu sur la scène virtuelle de Microsoft Ignite via une holoportation de lui-même faite de rayons de lumière simulant son véritable corps et commentant en temps réel l’expérience proposée en ouverture de la session.

James Cameron, cinéaste et explorateur des océans, et John Hanke, CEO et fondateur de l’entreprise leader de réalité augmentée Niantic, ont eux aussi rejoint Alex Kipman à distance pour souligner tout ce que Microsoft Mesh leur apporte et la façon dont la plateforme les aide à créer des expériences immersives à mi-chemin entre le réel et le virtuel.

Guy Laliberté, en échangeant avec Alex Kipman, dévoilait une nouvelle collaboration pour aider Lune Rouge – une autre entreprise fondée par le co-fondateur du Cirque du Soleil – à donner vie à un projet appelé Hanai World. Il s’agit d’une plateforme sociale de réalité mixte à laquelle il songe depuis des années et qui relierait dans un même événement des expériences de divertissement physiques et virtuelles. Aujourd’hui, des technologies comme Microsoft Mesh ont rattrapé son rêve et lui permettent d’en faire une réalité.

Microsoft Mesh permettra également aux équipes réparties en différents endroits d’avoir plus de réunions collaboratives, d’organiser des sessions de conception virtuelles, d’aider les autres plus facilement, d’apprendre ensemble ou encore d’organiser des rassemblements virtuels. Les gens seront d’abord représentés par des avatars dans ces expériences virtuelles partagées, mais au fil du temps, ils pourront utiliser l’holoportation en projetant une version plus photoréaliste d’eux-mêmes, explique Microsoft.

La nouvelle plateforme est le résultat d’années de recherche et de développement de Microsoft dans des domaines allant du suivi des mains et des yeux ou encore du développement d’HoloLens, à la création d’hologrammes permanents et de modèles d’intelligence artificielle permettant de créer des avatars expressifs.

Tirant le meilleur parti d’Azure – la plateforme de cloud computing de Microsoft – Mesh bénéficie également des fonctionnalités de sécurité et de confidentialité répondants aux standards élevés propres à Azure, ainsi que des nombreux services associés.

« Chaque jour, nous créons plus de valeur au sein d’Azure, notre cloud intelligent », a déclaré Alex Kipman. « Dans ces expériences collaboratives, le contenu n’est pas à l’intérieur de mon appareil ou à l’intérieur de mon application. Le contenu holographique est dans le cloud, et j’ai seulement besoin de l’outil adapté pour le voir. »

Avec les applications basées sur Microsoft Mesh, les architectes, designers ou ingénieurs qui travaillent à partir de modèles physiques 3D — que ce soient des vélos, des meubles haut de gamme, des moteurs d’avion ou encore de nouvelles enceintes sportives — pourraient se projeter à leur image au sein d’un espace virtuel pour travailler ensemble à partir de modèles holographiques, et ce, où qu’ils se trouvent.

Architectes et ingénieurs peuvent désormais déambuler à travers l’hologramme d’une usine en construction, vérifiant au passage comment chaque équipement s’accorde avec les autres en trois dimensions et évitant ainsi de potentielles erreurs coûteuses.

Etudiants en école d’ingénieurs ou de médecine ont maintenant la capacité d’apprendre comment fonctionnent le moteur électrique d’une voiture ou le corps humain en se rassemblant, en tant qu’avatars, autour de modèles holographiques. Ces derniers permettent d’enlever certaines parties du moteur ou d’observer, couche après couche, le fonctionnement des muscles du dos. Des collègues de travail peuvent aussi tout simplement se réunir et discuter entre eux au sein d’un même espace virtuel partagé. Des entreprises ont la possibilité d’utiliser les applications basées sur Microsoft Mesh pour organiser des conférences ou des formations internes réunissant leurs collaborateurs, quelle que soit leur localisation à travers le monde.

Dans les prochains mois, la plateforme Microsoft Mesh offrira aux développeurs une suite complète d’outils alimentés par l’IA pour les avatars, la gestion de session, le rendu spatial, la synchronisation entre plusieurs utilisateurs et l’holoportation. Tout cela pour rendre possible la création de solutions collaboratives en réalité mixte.

Les normes ouvertes de Microsoft Mesh donneront aux développeurs la liberté d’imaginer des solutions qui fonctionneront sur de nombreux appareils différents, que ce soit sur HoloLens 2, des casques de réalité virtuelle, des smartphones, des tablettes ou encore des PC.

Lors de Microsoft Ignite, Microsoft a annoncé deux applications développées sur la plateforme Microsoft Mesh.

La première d’entre elles est la preview de l’application Microsoft Mesh pour HoloLens, qui permet aux membres d’une même équipe de collaborer à distance et qui est déjà disponible au téléchargement. Les clients peuvent également demander l’accès à une nouvelle version d’AltspaceVR, compatible avec Mesh, qui permettra aux entreprises d’organiser des réunions et rassemblements professionnels en réalité virtuelle. Ces événements bénéficieront des standards élevés de sécurité, incluant ceux relatifs aux connexions sécurisées, à la gestion des sessions et à la protection de la vie privée.

A l’avenir, les utilisateurs de la plateforme bénéficieront aussi d’applications tierces d’éditeurs de logiciels tiers comme d’une intégration accrue avec les autres produits Microsoft tels que Microsoft Teams et Dynamics 365.

« C’est la raison pour laquelle nous avons toujours cru que la réalité mixte serait le prochain principal moyen de collaborer pour le monde de l’informatique » souligne Alex Kipman. « Quand deux personnes voient le même hologramme, c’est tout simplement magique. »

Explorer le monde ensemble

À bord d’OceanXplorer, l’un des navires de recherche et d’exploration en haute mer les plus avancés jamais construits, la place est limitée et il est impossible d’accueillir tous les scientifiques qui le souhaiteraient. Ils sont, en effet, nombreux à vouloir prendre connaissance des données recueillies en continu par les instruments de mesure et les caméras disposées sur les véhicules sous-marins d’OceanX. Ces appareils sont capables d’explorer de nombreux environnements différents, des récifs coralliens et bassins d’eau saumâtre, à la vie marine fourmillant autour des cheminées hydrothermales des profondeurs, en passant par les minéraux que l’on peut trouver près des volcans sous-marins.

OceanX est une ONG qui fait le lien entre narration scientifique et expériences technologiques pour soutenir l’éducation et la sensibilisation aux océans. A Microsoft Ignite, ses représentants ont annoncé leur collaboration avec Microsoft pour la création, sur leur navire, d’un « laboratoire holographique » compatible avec Mesh. Les scientifiques pourront alors s’y retrouver — en personne ou virtuellement à partir de laboratoires et de bureaux à travers le monde — pour observer les zones explorées par les véhicules sous-marins sous la forme d’hologrammes en 3D.

Les chercheurs qui tentent de comprendre pourquoi les cachalots chassent dans certaines régions, par exemple, pourraient ainsi voir une représentation holographique d’un canyon en haute mer. Cette représentation serait enrichie des données recueillies à partir de puces implantées sur les cétacés, mais aussi d’informations sur la salinité, la température et les changements de chimie océanique. On pourrait aussi y intégrer les données de détecteurs de poissons révélant où se trouvent les calmars et autres proies.

« L’idée est de prendre toutes ces incroyables données scientifiques que nous recueillons, de les mettre dans un cadre holographique, puis de les utiliser comme un moyen de guider les missions scientifiques en temps réel », a déclaré Vincent Pieribone, vice-président d’OceanX.

L’objectif, en utilisant Microsoft Mesh, est de permettre à tout chercheur disposant d’HoloLens 2, ou de tout autre appareil compatible, d’apparaître autour d’une table via un avatar. Il lui suffirait alors de pointer une zone particulière sur le fond marin holographique et d’échanger en temps réel avec d’autres scientifiques sur ce qu’ils observent.

Dans le cadre des missions de recherche d’OceanX, il arrive souvent que des groupes de personnes se regroupent autour des flux vidéo, posent des questions et discutent entre eux. Les chercheurs qui ne sont pas sur le bateau, même s’ils regardent les mêmes images que leurs collègues mais sur un écran dans leur bureau, ne bénéficient pas alors de ces interactions et de ce qui peut en ressortir, explique Vincent Pieribone.

« Il y a une composante sociale à cela qui est essentielle » dit-il. « Nous voulons amener tout le monde dans la même ‘pièce’ afin de pouvoir rebondir sur ce que disent les uns et les autres et maintenir ce lien humain. »

Dans un tout autre type d’exploration, Niantic faisait la démonstration à Microsoft Ignite d’une toute nouvelle expérience de Pokémon GO basée sur HoloLens 2. Celle-ci a été conçue pour mettre en avant une vision renouvelée de la collaboration s’appuyant sur les capacités de réalité mixte et augmentée de Microsoft et Niantic.

Dans cette démonstration – qui ne met pas en scène un produit grand public, John Hanke et une foule de Pokémon se retrouvent dans leur parc préféré et sont rapidement rejoints par Veronica Saron, product marketing manager de Pokémon GO. Il se lancent alors dans une bataille au sein d’une session partagée de réalité mixte.

La mission de Niantic est de créer des technologies permettant aux gens de rencontrer d’autres personnes et d’explorer le monde ensemble, explique John Hanke, qu’il s’agisse d’enfants utilisant Pokémon GO pour explorer leur quartier avec leurs parents ou amis, ou de milliers de personnes se rassemblant dans les parcs pour les festivals.

« Microsoft Mesh offre une toute nouvelle façon de le faire », met-il en avant. « Cette idée d’emmener mes amis virtuels avec moi lorsque je sors et que j’explore le monde — j’adore ce concept et je suis vraiment curieux de voir ce que nous pouvons en faire. »

On voit ainsi poindre tout le potentiel d’une expérience Pokémon GO bâtie sur la plateforme à l’échelle planétaire de Niantic, enrichie des services de Microsoft Mesh, et fonctionnant sur HoloLens.

« De notre côté, nous nous attelons à coudre ensemble les mondes numérique et physique, reliant pixels et atomes pour que ces expériences prennent vie grâce à la plateforme de Niantic » déclarait John Hanke. « Mais les liens sociaux sont vraiment au cœur de tout ce que nous faisons, et les innovations apportées par Microsoft Mesh ne feront qu’enrichir cela. »

« Une nouvelle façon d’imaginer les connexions humaines »

Lune Rouge, l’initiative québécoise fondée par Guy Laliberté du Cirque du Soleil, commence également à explorer la façon dont Microsoft Mesh pourrait permettre à tout le monde d’assister virtuellement à des concerts, des représentations théâtrales, des soirées musicales ou même des célébrations familiales à partir d’endroits éloignés les uns des autres.

Le projet Hanai World, inspiré par le mot hawaïen qui, vaguement traduit, signifie choisir quelqu’un comme sa propre famille, vise à tisser de nouvelles connexions entre les expériences de divertissement virtuelle et physique.

L’objectif est de créer des représentations numériques des lieux de divertissement à travers le monde et de reproduire en direct des spectacles avec une qualité 3D suffisamment fidèle pour qu’il y ait le moins de différence possible entre ceux qui vivront l’événement en chair et en os et ceux qui le vivront depuis leur salon en réalités mixte ou virtuelle. La plate-forme proposerait un mélange entre le contenu provenant de Lune Rouge et celui généré par les utilisateurs tout en privilégiant une grande variété de styles.

« Ce serait un beau complément au divertissement en direct » a déclaré Alexandre Miasnikof, directeur exécutif de la production à Lune Rouge. « Cela apporterait une nouvelle façon d’imaginer les connexions humaines et rapprocherait le divertissement de personnes qui ne seraient habituellement pas en mesure d’y assister, que ce soit pour des raisons géographiques ou d’accès. »

Deux amis vivant sur des côtes opposées pourraient se rejoindre au même concert en tant qu’avatars et vivre le spectacle ensemble. On peut même aller jusqu’à imaginer un jour l’holoportation d’une grand-mère retrouvant les autres membres de sa famille vivant dans un autre pays, et cela en temps réel.

« Ce que nous avons aujourd’hui c’est une promesse, mais nous ne savons pas encore quand nous pourrons la réaliser » expliquait Alexandre Miasnikof. « Mais nous pensons que nous avons une bonne base avec Microsoft Mesh et nous allons partir de là pour bâtir notre expérience. »

Et c’est précisément l’objectif d’Alex Kipman : identifier les opportunités qui relevaient auparavant de l’impossible ou prenaient trop de temps à matérialiser, et qui sont maintenant à portée de main grâce à la plateforme Microsoft Mesh.

« Quand vous pensez à ce qu’il faut réellement pour lancer une nouvelle facette de l’informatique, vous savez que vous devez faire de gros investissements à travers l’écosystème tout entier. Et c’est précisément ce que Microsoft a fait. »

« Nous invitons désormais toutes les personnes qui souhaitent apporter leur pierre à l’édifice à profiter des années de recherche et développement que nous avons menées pour leur offrir aujourd’hui toutes ces fonctionnalités clé en main. »