Con su proyecto HoloLens 2, Microsoft y Volkswagen colaboran para poner en movimiento unas gafas de realidad aumentada

Imagínense ponerse un par de anteojos de realidad aumentada mientras salen por la mañana y se suben a su vehículo. A medida que su automóvil autónomo los lleva a su destino, obtienen pantallas holográficas de información de tráfico, condiciones climáticas, recomendaciones de compras y aspectos arquitectónicos destacados en el camino. Y a medida que avanza el día, pueden usar controles holográficos frente a ustedes para ajustar la temperatura interior a su gusto.

Ese es el futuro de la movilidad previsto por los investigadores del fabricante de automóviles alemán Volkswagen, que ven la realidad aumentada como uno de los componentes clave de los conceptos de movilidad del futuro. Para acercarse un poco más a esa visión, Volkswagen colaboró con Microsoft para permitir que la diadema de realidad mixta HoloLens 2 se use en vehículos en movimiento por primera vez.

El nuevo modo de «plataforma en movimiento» para HoloLens 2 supera una importante limitación de los visores de realidad mixta y crea potencial para que la tecnología se utilice de nuevas maneras: capacitar a los conductores para manejar condiciones de carretera desafiantes, por ejemplo, o crear nuevas experiencias de usuario para vehículos autónomos. Y si bien la movilidad es el enfoque de Volkswagen, en el futuro la capacidad podría compartirse con otras industrias.

“Creemos que la información de realidad mixta es la información más intuitiva que podemos proporcionar para mejorar la experiencia de usuario de nuestros clientes”, dice el doctor Andro Kleen, jefe del equipo de ciencia de datos de Volkswagen Group Innovation. “Porque lo que ves allí, y lo que necesitas procesar, está muy cerca de lo que los humanos por lo general ven y procesan. No es tan abstracto”.

Volkswagen, uno de los primeros en adoptar la tecnología de realidad aumentada, introdujo una pantalla frontal de realidad aumentada en su familia de autos eléctricos ID. en 2020 que proyecta flechas de navegación, marcas de carril y otra información en el entorno frente a los autos.

Pero Volkswagen pensaba en el potencial de la realidad aumentada incluso antes, dice Kleen. En 2015, por ejemplo, Volkswagen se embarcó en un proyecto de investigación con vehículos autónomos y realidad aumentada para enseñar a conducir en un circuito de carreras. Probado en las instalaciones de pista de Volkswagen en Ehra-Lessien, Alemania, el sistema Race Trainer usó una pantalla frontal que superponía líneas de flechas en la pista para que los conductores las siguieran, y proporcionaba señales de dirección y frenado para guiarlos a través de un conjunto graduado de lecciones.

Volkswagen esperaba usar HoloLens para el proyecto de investigación, pero pronto se encontró con un problema. Cuando el dispositivo se colocó en un vehículo en movimiento, sus sensores perdieron el rastreo y los hologramas que por lo general muestra desaparecieron. El equipo de Kleen se acercó a Microsoft en busca de ayuda y conectó con Marc Pollefeys, director científico de Microsoft y experto en visión artificial 3D y aprendizaje automático. El equipo de Volkswagen viajó a la sede de Microsoft en Redmond, Washington, para mostrarle a Pollefeys y su equipo su trabajo con HoloLens y su visión de la tecnología de realidad aumentada.

“Tuvimos extensas discusiones”, dice Pollefeys, ahora director del Laboratorio de Realidad Mixta e IA de Microsoft en Zúrich, Suiza. “Presentaron sus casos de uso y lo que esperaban habilitar. Estaban ansiosos por trabajar con nosotros para encontrar una solución y poder usar HoloLens en esas situaciones”.

Los dos equipos comenzaron a colaborar alrededor de 2018 para desarrollar la función de plataforma en movimiento para HoloLens 2, que requería resolver un problema fundamental. HoloLens utiliza dos tipos principales de sensores que miden su movimiento: cámaras de luz visible y una unidad de medición inercial, o IMU, por sus siglas en inglés, que mide la aceleración y la velocidad de rotación. Juntos, los sensores imitan cómo los humanos ven y se mueven por el mundo.

Pero de manera similar a cómo estar en un automóvil o un bote puede causar mareo por movimiento cuando lo que parece ser un entorno estable se mueve, cuando los sensores de HoloLens bien acoplados comienzan a estar en desacuerdo en un entorno en movimiento, y la unidad de medición inercial que reconoce el movimiento y las cámaras no pueden detectar el movimiento, las cosas se desmoronan.

Para abordar ese problema, el equipo de Pollefeys desarrolló un algoritmo que modela las discrepancias entre los sensores y permite que HoloLens continúe el rastreo. Pero probar la capacidad planteó otro desafío. Dado que las restricciones de Covid-19 en Suiza hicieron imposible probar la tecnología en un vehículo con otra persona en ese momento, Joshua Elsdon, un ingeniero de software senior de Microsoft que trabajó en el proyecto, tuvo que encontrar soluciones desde su apartamento de Zúrich.

Elsdon ideó una plataforma simulada con una caja de plástico, donde pegó pedazos de cinta adhesiva en el interior para agregar textura visual y dar a las cámaras HoloLens elementos para rastrear. Viajó en tranvías y autobuses por Zúrich con un auricular HoloLens, asegurándose de que sus hologramas se mantuvieran firmes mientras los vehículos se movían. Por la noche, Elsdon subió y bajó los ascensores de su bloque de apartamentos, para probar la tecnología.

“Tuvimos que hacer muchas pruebas en mi apartamento. Estas no son las condiciones ideales de desarrollo”, dice Elsdon, que ahora reside en Redmond. “Todas estas cosas se hicieron de forma remota y se distribuyeron en diferentes países, lo cual fue interesante”.

Después de realizar el prototipo inicial, el equipo también realizó pruebas en Puget Sound, cerca del campus de Redmond de Microsoft. Alquilaron embarcaciones de recreo, las sacaron al agua y utilizaron equipos de medición externos para evaluar el rendimiento del sistema de seguimiento de la cabeza de HoloLens en una plataforma móvil.

Más tarde, Microsoft probó la función con Volkswagen. Los investigadores de Volkswagen establecieron una conexión de datos bidireccional entre el vehículo y HoloLens para mostrar y controlar información en tiempo real del automóvil. Por último, el equipo implementó varios casos de uso de demostración para investigar cómo las interfaces virtuales podrían mejorar el interior de los vehículos futuros.

“Conectamos un sistema de posicionamiento que rastrea la ubicación del vehículo. De esta manera, también pudimos colocar elementos 3D, como información sobre puntos de interés fuera del automóvil. Esto abre posibilidades nuevas por completo, no solo para mostrar hologramas dentro del campo de visión hacia adelante del conductor, sino también donde sea que mire el usuario que usa las gafas», dice Michael Wittkämper, experto en realidad aumentada en Volkswagen.

Microsoft lanzó la función de plataforma en movimiento hace unos meses y ya ha comenzado a atraer el interés de las compañías y organizaciones marítimas, que han utilizado HoloLens para conectar de forma remota a los trabajadores marítimos con expertos mecánicos a través de la Asistencia Remota de Microsoft Dynamics 365. La aplicación permite que un experto en otra ubicación mire a través de los HoloLens 2 de la otra persona, comparta su campo de visión, diagnostique un problema y proporcione sus comentarios.

Aunque antes solo se podía usar cuando un barco estaba en puerto, la capacidad es aún más necesaria cuando los barcos están en el mar y se descompone una pieza del equipo.

“Cuanto más remoto está el equipo o la máquina, más difícil es conseguir que el experto esté en el sitio”, dice Pollefeys, quien también es profesor de informática en ETH Zurich, una universidad pública de investigación. “Esta característica resultó ser fundamental para desbloquear HoloLens 2 para el espacio marítimo”.

La función de plataforma en movimiento de HoloLens se admite en la actualidad para su uso en grandes barcos, y Microsoft planea perfeccionarla aún más para su uso en ascensores, trenes, automóviles y otros entornos móviles. Kleen prevé múltiples formas en que la tecnología podría usarse para conectar el interior de los vehículos con el mundo exterior, como ayudar a los conductores de camiones o autobuses a navegar por calles estrechas, identificar puntos de interés a lo largo de las rutas de conducción o brindar entretenimiento a los pasajeros.

Kleen y Pollefeys creen que la realidad aumentada se convertirá en un aspecto cada vez más importante de la movilidad en el futuro, a medida que estén disponibles versiones más pequeñas y compactas de anteojos inteligentes. Pollefeys caracteriza las gafas de realidad mixta como la tercera generación de dispositivos informáticos personales, después de las computadoras personales y los teléfonos móviles.

“Microsoft no solo está interesado en dispositivos comerciales como HoloLens, sino también, a largo plazo, en dispositivos que haga sentido que los consumidores usen en la vida diaria”, dice Pollefeys. “Con las gafas de realidad aumentada, puedes caminar por el mundo y la información puede aparecer en contexto, donde sea relevante. Podrías comunicarte con otras personas y también en 3D, a diferencia de una pantalla pequeña”.

Kleen imagina la realidad aumentada que permite experiencias de movilidad fluidas y conectadas, con personas que usan anteojos inteligentes cuando salen de casa y reciben información a través de ellos, desde asistencia de navegación hasta entretenimiento, mientras avanzan en el día.

“Pensamos en esto como avanzar hacia un sistema de movilidad donde se conectarán diferentes productos y soluciones de movilidad”, dice Kleen. “La suposición básica es que esta tecnología se volverá más liviana y más pequeña, y creemos que a medida que eso suceda, más personas la tendrán en sus manos y la integrarán en su vida diaria y, por lo tanto, en su forma de moverse de A a B.”

Foto superior: Volkswagen demostró el futuro de la conducción autónoma por completo en su prototipo Gran Turismo, el ID.VIZZION. (Imágenes cortesía de Volkswagen)