Kooperation von Volkswagen und Microsoft: Augmented Reality für eine Welt in Bewegung

Volkswagen und Microsoft haben in den vergangenen Jahren gemeinsam daran gearbeitet, Augmented Reality (AR) in bewegten Fahrzeugen nutzbar zu machen. Das Ergebnis ist der neue „Moving Platform“-Modus für Microsoft HoloLens 2, der mithilfe von Hologrammen das Potenzial hat, völlig neue Fahrerlebnisse zu ermöglichen und auch jenseits der Automobilindustrie auf großes Interesse stößt.

Stellt euch vor, die morgendliche Fahrt zur Arbeit beginnt mit dem Aufsetzen einer Augmented-Reality-Brille. Während euch das selbstfahrende Auto zum Ziel bringt, erhaltet ihr alle Informationen, die ihr braucht, als Hologramme angezeigt – Hinweise zum Verkehr, zu den Wetterbedingungen, zu architektonischen Highlights entlang des Weges oder auch die passenden Einkaufsempfehlungen. Mithilfe holografischer Bedienelemente passt ihr Einstellungen wie die Innentemperatur des Fahrzeugs nach euren Wünschen an.

Das ist die Zukunft der Mobilität, wie sie sich Forschende von Volkswagen vorstellen. Augmented Reality ist für sie eine Schlüsselkomponente zukünftiger Mobilitätskonzepte. Um dem näher zu kommen, hat Volkswagen Group Innovation mit Microsoft zusammengearbeitet, um erstmals den Einsatz des Mixed-Reality-Headsets Microsoft HoloLens 2 für Fahrzeuge in Bewegung zu ermöglichen.

Die Zukunft des vollautonomen Fahrens demonstrierte Volkswagen in seiner Gran Turismo-Studie ID.VIZZION. (Konzeptbild: Volkswagen)

Der neue „Moving Platform“-Modus von Microsoft HoloLens 2 hebt eine wesentliche Einschränkung auf, die es bislang bei der Nutzung von Mixed-Reality-Headsets gab, die Störung der Tracking-Sensoren bei Fahrzeugbeschleunigungen und erschließt damit neue Potenziale für die Einsatzmöglichkeiten der Technologie. Zum Beispiel ließen sich künftig mit Mixed-Reality-Headsets Fahrer*innen im Umgang mit schwierigen Straßenverhältnissen schulen oder neue Nutzungserlebnisse in autonom fahrenden Fahrzeugen entwickeln. Und obwohl der Fokus von Volkswagen auf der Mobilität liegt, könnten von derartigen Möglichkeiten in Zukunft auch andere Branchen profitieren.

Ein Algorithmus gegen die Reisekrankheit der Sensoren

Volkswagen erforscht und entwickelt schon lange das Potenzial von Augmented Reality für den Innenraum von Fahrzeugen. So startete Volkswagen etwa 2015 ein Forschungsprojekt, bei dem selbstfahrende Fahrzeuge und Augmented Reality eingesetzt wurden, um das Fahren auf einer Rennstrecke zu erlernen. Das auf der Volkswagen-Rennstrecke in Ehra-Lessien getestete System „Race Trainer“ nutzte ein Head-up-Display, das Fahrer*innen Pfeillinien auf der Strecke einblendete, denen sie folgen konnten. Das System lieferte Lenk- sowie Bremshinweise und führt so durch eine Reihe von Aufgaben. Schon damals wollten die Forschenden von Volkswagen die erste Generation HoloLens von Microsoft für das Projekt nutzen, sahen sich jedoch mit einem Problem konfrontiert: Wurde das Headset in einem fahrenden Fahrzeug eingesetzt, konnten die Sensoren nicht mehr folgen und die Hologramme verschwanden. Der Autohersteller kontaktierte daraufhin Microsoft, um eine Lösung zu finden.

2018 begannen die beiden Teams ihre Zusammenarbeit, um das „Moving Platform“-Feature für Microsoft HoloLens 2 zu entwickeln. Dafür galt es, ein grundlegendes Problem zu lösen. HoloLens verwendet zwei Arten von Sensoren, um die Bewegung zu messen: Kamerasysteme für das sichtbare Licht sowie eine Trägheitsmesseinheit (inertial measurement unit, IMU), die die Beschleunigung und Rotationsgeschwindigkeit erfasst. Zusammengenommen ahmen die Sensoren nach, wie Menschen die Welt sehen und sich in ihr bewegen. Doch ähnlich wie bei Menschen im Auto oder auf einem Boot die Reisekrankheit einsetzen kann, wenn sich die scheinbar stabile Umgebung in Wahrheit bewegt, kommt es auch zwischen den Signalen der Microsoft HoloLens-Sensoren in solchen Fällen zu Unstimmigkeiten. Die IMU stellt eine Bewegung fest, doch die Kameras registrieren diese nicht. Die Lösung ist ein Algorithmus, der die Diskrepanzen zwischen den Sensoren modelliert und es dem Device ermöglicht, der Bewegung weiter zu folgen.

Kombiniert mit Positionsdaten des Fahrzeugs bietet Microsoft HoloLens 2 völlig neue Nutzungsmöglichkeiten. (Foto: Volkswagen)

Microsoft testete die „Moving Platform“-Funktion gemeinsam mit Volkswagen. Forschende des Automobilherstellers stellten dabei eine bidirektionale Datenverbindung zwischen Fahrzeug und Microsoft HoloLens 2 her, um Echtzeitinformationen aus dem Auto anzeigen zu lassen und zu steuern. Zudem implementierte das Volkswagen-Team mehrere Demo-Anwendungsfälle, um zu untersuchen, wie virtuelle Schnittstellen den Innenraum zukünftiger Fahrzeuge ergänzen können.

Die Forschenden schlossen ein Ortungssystem an, das den Standort des Fahrzeugs verfolgt. Auf diese Weise ließen sich zusätzlich 3D-Elemente – wie zum Beispiel Informationen zu Sehenswürdigkeiten – außerhalb des Fahrzeugs positionieren. Das eröffnete die Möglichkeit, Hologramme nicht einzig im Blickfeld des Fahrenden anzuzeigen, sondern überall dort, wo die Träger*innen von HoloLens jeweils hinschauen.

Seefahrtsunternehmen haben Interesse an „Moving Platform“-Feature

Erst vor wenigen Monaten hat Microsoft das „Moving Platform“-Feature eingeführt, doch es stößt bereits auf das Interesse von Unternehmen und Organisationen aus dem maritimen Bereich. Dort kommt Microsoft HoloLens 2 etwa zum Einsatz, um Mitarbeitende über Microsoft Dynamics 365 Remote Assist aus der Ferne mit Maschinenbauexpert*innen zu verbinden und zu unterstützen. Die Anwendung ermöglicht es Nutzer*innen an Bord, ihren Blick durch HoloLens 2 mit Expert*innen zu teilen, die sich an einem anderen Ort aufhalten. Die Remote-Expert*innen können auf diese Weise dabei helfen, Probleme zu diagnostizieren und Input geben. Bislang wurde diese Funktion nur in Häfen genutzt, doch benötigt wird sie besonders, wenn sich ein Schiff auf See befindet und ein Gerät ausfällt. Durch das „Moving Platform“-Feature ist genau das nun möglich.

Die Funktion wird für den Einsatz auf großen Schiffen bereits unterstützt. Microsoft plant, sie weiter zu verbessern für den Einsatz in Umgebungen, die sich in Bewegung befinden, wie beispielsweise in Aufzügen oder Zügen. Lkw- oder Busfahrer*innen könnte die Technologie bei der Navigation durch enge Straßen helfen, sie könnte dabei unterstützen, interessante Punkte entlang der Route zu identifizieren oder zur Unterhaltung der Fahrgäste beitragen.

Einen ausführlichen Blogpost zur „Moving Platform“-Funktion und den zukünftigen Einsatzmöglichkeiten gibt es hier zum Nachlesen.


Ein Beitrag von Deborah Bach
Autorin Microsoft Stories

Tags: , , ,

Weitere Infos zu diesem Thema

7. Oktober 2021
Wie Mixed Reality unsere Arbeitswelt bereichert

Mixed Reality bildet das gesamte Spektrum zwischen der physischen Welt, in der wir leben, bis hin zur vollständig virtuellen Realität ab. Anwender*innen erhalten dank Microsoft HoloLens einen Blick in diese gemischte Realität. Das bedeutet, dass Träger*innen digitale Inhalte – sogenannte Hologramme – in der realen Welt sehen und mit diesen über Sprache, Gesten oder Bewegungen interagieren können. Das Besondere an dieser Technologie ist das unbegrenzte Potential an Einsatzmöglichkeiten über alle Branchen hinweg.

12. November 2021
Mixed Reality im Einsatz: Siemens Energy digitalisiert die Serviceeinsätze auf Schiffen mit Microsoft Partner XRGO

„Innovation ohne Digitalisierung ist nur schwer vorstellbar“ und „Corona hat Technologieprojekten neuen Schub gegeben“ – diese Aussagen gehören zum Standardrepertoire, wenn es darum geht, die Gegenwart zu beschreiben. Ein Mixed-Reality-Projekt zeigt, dass diese Thesen auch den Praxistest nachhaltig bestehen: Der Microsoft Partner CAMAO setzt mit seiner Marke XRGO zusammen mit Siemens Energy auf Mixed Reality, um Schiffe umweltfreundlich unterstützend aus der Ferne zu warten.

5. Mai 2022
Nachgefragt bei Stefan Würtemberger, Vice President Information Technology von Marabu GmbH & Co. KG

Stefan Würtemberger ist Vice President Information Technology bei der Marabu GmbH & Co. KG. Das Familienunternehmen ist einer der weltweit führenden Hersteller von Sieb-, Digital- und Tampondruckfarben. Um die Produktion und andere Bereiche noch ressourcenschonender zu gestalten, nutzt Marabu Mixed Reality (MR). Wir haben mit Stefan Würtemberger über die Vorteile beim Einsatz von MR gesprochen.