“De hecho, pueden sentirse como si estuvieran en el mismo lugar”: Microsoft Mesh potencia experiencias compartidas en realidad mixta

Por años, Guy Laliberté, cofundador de Cirque du Soleil, recibió innumerables propuestas de tecnologías de realidad virtual, pero no pudieron igualar la magia de sus fascinantes actuaciones en vivo, con un alto contenido visual. Ahora, con una nueva plataforma proporcionada por Microsoft, ha comenzado a reconsiderar eso.

El martes, apareció en la conferencia digital Ignite de Microsoft, a través de la holotransportación, que usa tecnología de captura 3D para transmitir una imagen realista de una persona en una escena virtual. En la primera experiencia de conferencia de la compañía, diseñada por completo para la realidad mixta, las personas que asistieron a la conferencia desde sus salas de estar y oficinas en casa, alrededor del mundo, pudieron experimentar el espectáculo mientras los avatares veían los eventos desarrollarse en un mundo holográfico compartido.

Fue la primera oportunidad de la compañía para mostrar algunas de las experiencias que son posibles gracias a Microsoft Mesh, una nueva plataforma de realidad mixta, impulsada por Azure, que permite a personas en diferentes ubicaciones físicas, unirse a experiencias holográficas colaborativas y compartidas en muchos tipos de dispositivos.

“Este ha sido el sueño de la realidad mixta, la idea desde el principio”, comentó Alex Kipman, asociado técnico en Microsoft. “De hecho, puedes sentirte como si estuvieras en el mismo lugar con alguien que comparte contenido o que puedes teletransportarte desde diferentes dispositivos de realidad mixta y estar presente con la gente, incluso cuando no estén juntos de manera física”.

Kipman apareció en el escenario virtual de Ignite como una holotransportación realizada por completo de sí mismo, para narrar la experiencia de apertura del programa en tiempo real, como rayos que simulaban su cuerpo físico.

James Cameron, el cineasta y explorador oceánico, y John Hanke, CEO y fundador de la empresa líder en realidad aumentada, Niantic, Inc., también se unieron a Kipman de manera remota para destacar cómo Microsoft Mesh les ayuda a crear experiencias compartidas a través de los mundos virtual y físico.

Laliberté conversó con Kipman sobre una nueva colaboración para ayudar a Lune Rouge, otra empresa que fundó Laliberté, a llevar a cabo un proyecto llamado Hanai World. Se trata de una plataforma social de realidad mixta en la que ha pensado durante años, que conectaría experiencias de entretenimiento en vivo y digitales en eventos únicos, pero solo ahora, tecnologías como Microsoft Mesh, se han puesto al día con esa visión.

Microsoft Mesh también permitirá a los equipos distribuidos de manera geográfica tener reuniones más colaborativas, realizar sesiones virtuales de diseño, asistir a otros, aprender juntos y realizar reuniones sociales virtuales. En un principio, las personas podrán expresarse como avatares en estas experiencias virtuales compartidas y, con el tiempo, usar la holotransportación para proyectarse a sí mismas como su yo más realista y más fotorrealista, dijo la compañía.

La nueva plataforma es el resultado de años de investigación y desarrollo de Microsoft en áreas que van desde el rastreo de manos y ojos, y el desarrollo de HoloLens para crear hologramas persistentes y modelos de inteligencia artificial que puedan crear avatares expresivos.

Construida sobre Azure, la plataforma de cómputo en la nube de Microsoft, Microsoft Mesh también se beneficia de las funciones de seguridad y privacidad de grado empresarial de Azure, así como de sus vastos recursos computacionales, datos, IA y servicios de realidad mixta.

“Cada vez más, construimos valor en nuestra nube inteligente, que es Azure”, comentó Kipman. “En estas experiencias colaborativas, el contenido no está dentro de mi dispositivo ni dentro de mi aplicación. El contenido holográfico está en la nube, y sólo necesito los lentes especiales que me permitan verlo”.

Con las aplicaciones habilitadas para Microsoft Mesh, los diseñadores o ingenieros que trabajan con modelos físicos 3D, desde bicicletas a muebles de gama alta, motores a reacción y nuevos estadios deportivos, podrían aparecer como ellos mismos en un espacio virtual compartido para colaborar e iterar en modelos holográficos, sin importar su ubicación física.

Arquitectos e ingenieros podrían caminar de manera física a través de un modelo holográfico de una planta de producción en construcción y ver cómo todas las piezas de equipo se ajustan en tres dimensiones, lo que de manera potencial evitaría costosos errores.

Los estudiantes de ingeniería o medicina que aprendan sobre motores de autos eléctricos o sobre anatomía humana, podrían reunirse como avatares alrededor de un modelo holográfico y quitar partes del motor o pelar músculos para ver lo que hay debajo. Los colegas podrían reunirse tan solo para charlar en un espacio virtual compartido, o las empresas podrían usar las aplicaciones habilitadas para Microsoft Mesh para ofrecer reuniones prácticas virtuales o entrenamientos para los empleados en todo el mundo.

La plataforma Microsoft Mesh ofrecerá a los desarrolladores, en los próximos meses, una suite completa de herramientas impulsadas por IA para avatares, manejo de sesiones, procesamiento espacial, sincronización a través de múltiples usuarios y holotransportación para construir soluciones colaborativas en realidad mixta, mencionó la compañía.

Aunque los usuarios tendrán las experiencias más ricas en realidad mixta o virtual, los estándares abiertos de Microsoft Mesh darán a los desarrolladores la libertad de construir soluciones que funcionen en muchos dispositivos: HoloLens 2, una gama de diademas de realidad virtual, smartphones, tabletas y PC.

En Ignite, Microsoft anunció dos aplicaciones construidas sobre la plataforma Microsoft Mesh.

Estas incluyen una versión previa de la aplicación Microsoft Mesh para HoloLens, que permite a los miembros del equipo colaborar de manera remota, y está disponible para descarga. Los clientes también pueden solicitar acceso a una nueva versión de AltspaceVR, habilitada para Mesh, que permitirá a las empresas realizar juntas y reuniones de trabajo en realidad virtual, con funciones de seguridad de grado empresarial que incluyen inicio de sesión seguro, gestión de reunión y cumplimiento de normas de privacidad.

Con el tiempo, la empresa dijo que espera que los clientes puedan elegir de un creciente conjunto de aplicaciones habilitadas para Microsoft Mesh, construidas por desarrolladores externos y socios, y también que puedan beneficiarse de la integración planeada con productos de Microsoft como Microsoft Teams y Dynamics 365.

“Es por esto que nos ha apasionado tanto la realidad mixta, como el próximo gran medio para el cómputo colaborativo”, mencionó Kipman. “Es mágico cuando dos personas pueden ver el mismo holograma”.

Explorar juntos el mundo

A bordo de OceanXplorer, una de las embarcaciones de investigación y exploración de aguas profundas más avanzada jamás construida, hay mucho espacio para albergar a todos los científicos que claman por aprender de los nuevos datos recolectados de manera constante por instrumentos y cámaras en sus vehículos de aguas profundas que pueden sondear todo, desde arrecifes de coral y piscinas de salmuera, hasta la vida marina alrededor de respiraderos hidrotermales y minerales alrededor de volcanes submarinos.

En Ignite, OceanX, una organización no lucrativa que fusiona ciencia de vanguardia con narrativas convincentes y experiencias de productos y tecnología para respaldar la educación y la concientización sobre el océano, anunció una nueva colaboración con Microsoft para crear un “laboratorio holográfico”, habilitado para Mesh, en la nave en la que los científicos se podrían reunir, ya sea en persona o de manera virtual desde laboratorios y oficinas alrededor del mundo, para ver hologramas 3D de las áreas que exploran los vehículos.

Por ejemplo, los investigadores que intentan averiguar por qué los cachalotes cazan en ciertas áreas, podrían ver una representación holográfica de un cañón de aguas profundas con datos recolectados de etiquetas colocadas en las ballenas, superpuesta con información sobre salinidad, temperatura y cambios de la química del océano, e integrada con datos de buscadores de peces que muestran dónde podrían estar los calamares y otras presas.

“La idea es tomar todos estos increíbles datos científicos que recolectamos y llevarlos a un entorno holográfico para usarlos como una manera de guiar las misiones científicas en tiempo real”, comentó Vincent Pieribone, vicepresidente de OceanX.

La meta es permitir a cualquier investigador con un HoloLens 2 u otro dispositivo compatible, usar Microsoft Mesh para aparecer alrededor de una mesa como un avatar y señalar un área en particular en el suelo marino holográfico sobre la que pueda tener una pregunta y conversar en tiempo real con otros científicos sobre lo que ven.

En las misiones de investigación de OceanX, a menudo hay grupos de personas apiñados alrededor de videos, que hacen preguntas y tienen conversaciones al margen con sus colegas. Los investigadores que no están en el barco, incluso si ven el mismo metraje en una pantalla en su oficina, no siempre se benefician de esas interacciones, comentó Pieribone.

“Hay un componente social en esto que es esencial”, comentó. “Queremos reunir a todos en la misma ‘habitación’, para que puedan intercambiar cosas entre sí y tener esa conexión humana”.

Para expandirse en un tipo de exploración diferente por completo, Niantic demostró en Ignite una prueba de concepto de Pokémon GO que se ejecuta sobre HoloLens 2. Fue diseñada para mostrar la visión de una nueva colaboración que se basará en las capacidades de realidad mixta y aumentada de Microsoft y Niantic.

En la demostración, que no representa un producto para el consumidor, Hanke y un grupo de Pokémon en su parque favorito se unieron a Veronica Saron, gerente de mercadotecnia de producto para Pokémon GO, para luchar en una sesión compartida de realidad mixta.

La misión de Niantic es crear tecnologías que permitan a las personas socializar y explorar juntos el mundo, comentó Hanke, ya sean niños que usan Pokémon GO para explorar sus vecindarios con sus padres o amigos, o miles de personas reunidas en parques para festivales.

“Microsoft Mesh ofrece una nueva manera de hacer eso”, comentó. “Esta noción de llevar a mis amigos virtuales conmigo mientras salgo, camino y exploro el mundo, me encanta ese concepto y estoy muy interesado en ver lo que podemos hacer con eso”.

La demostración muestra el potencial de la experiencia de Pokémon GO construida sobre la plataforma de escala planetaria de Niantic, que ha permitido que millones de personas tengan experiencias de realidad aumentada en el mundo real, mejorada con características de Microsoft Mesh que permiten a las personas estar presentes juntas, en experiencias compartidas en el espacio y el tiempo, y ejecutándose en HoloLens.

“Nuestra parte de esto es el trabajo de unir los mundos digital y físico, conectar los bits y átomos para que esas experiencias puedan ser posibles a través de la plataforma de Niantic”, mencionó Hanke. “Pero las conexiones sociales están en verdad al centro de todo lo que hacemos, y las innovaciones de Microsoft Mesh tan solo las enriquecen”.

‘Otra capa de conexión humana’

Lune Rouge, la iniciativa con sede en Quebec y fundada por Liberté del Cirque du Soleil, también ha comenzado a explorar cómo Microsoft Mesh podría permitir a las personas asistir de manera virtual a conciertos, funciones de teatro, eventos con DJs o incluso celebraciones familiares desde lugares remotos.

El proyecto Hanai World, inspirado por la palabra hawaiana que, traducida de manera simple, significa elegir a alguien como parte de la familia, busca forjar nuevas conexiones entre las experiencias de entretenimiento digitales y físicas.

El objetivo es crear representaciones digitales de lugares de entretenimiento alrededor del mundo y capturar presentaciones en vivo con suficiente fidelidad en 3D, para que la gente pueda experimentar el mismo evento en persona desde su sala de estar en realidad mixta o combinada. La plataforma seleccionaría una combinación curada de Lune Rouge y contenido generado por el usuario a través de una amplia variedad de medios y géneros.

“Sería un buen complemento para el entretenimiento en vivo”, comentó Alexandre Miasnikof, director ejecutivo de producción en Luna Rouge. “Trae otra capa de conexión humana y lleva entretenimiento a las personas que, de manera normal, no podrían ir a un evento, ya sea por la ubicación o por el acceso”.

Dos amigos que viven en costas opuestas podrían unirse al mismo concierto como avatares y experimentar el espectáculo juntos, o tal vez, de manera eventual, un día la holotransportación de la abuela de alguien, que vive en otro país, podría interactuar con los miembros de la familia en tiempo real en una reunión.

“Lo que hoy tenemos es la promesa, y qué tan pronto podemos dar vida a esa promesa, no lo sabemos”, mencionó Miasnikof. “Pero creemos que tenemos una buena base con Microsoft Mesh y empezaremos a construir a partir de ahí”.

Esa es justo la meta, dijo Kipman: ver qué tipos de soluciones que antes habrían sido descartadas por ser imposibles o porque requerían demasiado tiempo para sostenerse, ahora se pueden construir de manera mucho más sencilla con la plataforma Microsoft Mesh.

“Cuando piensas en lo que en verdad se necesita para marcar el comienzo de un nuevo medio para el cómputo, tienes que hacer grandes inversiones en todo el ecosistema, lo que es en realidad lo que Microsoft ha hecho”, comentó.

“Ahora queremos invitar a las personas a crear valor sobre eso y beneficiarse de los años de ardua investigación y desarrollo que hemos realizado para ofrecerles estas funciones en la mano”.

Contenido relacionado:

• Microsoft Mesh
• Microsoft Mesh – Un vistazo técnico (En inglés)
• Presentamos Microsoft Mesh
• Microsoft Ignite 2021
• Noticias de Microsoft Ignite 2021

Jennifer Langston escribe sobre investigación e innovación de Microsoft. Síganla en Twitter.

Imagen principal: Durante la conferencia inaugural de Ignite de Microsoft, Alex Kipman, asociado técnico, mostró Microsoft Mesh, una nueva plataforma de realidad mixta impulsada por Azure, que permite experiencias holográficas compartidas y colaborativas. Imagen cortesía de Microsoft.