In Zürich mitentwickelt: Microsoft und Volkswagen bringen Augmented-Reality-Brillen in Bewegung
Stellen Sie sich vor, Sie setzen eine Augmented-Reality-Brille auf, wenn Sie morgens losfahren und in Ihr Auto steigen. Während Ihr selbstfahrendes Auto Sie zu Ihrem Ziel bringt, erhalten Sie holografische Anzeigen von Verkehrsinformationen, Wetterbedingungen, Einkaufsempfehlungen und architektonischen Highlights entlang des Weges. Und wenn der Tag anbricht, können Sie mit den holografischen Bedienelementen vor Ihnen die Innentemperatur nach Ihren Wünschen einstellen.
So sieht die Zukunft der Mobilität aus, wenn die Forscher des deutschen Automobilherstellers Volkswagen Augmented Reality als eine der Schlüsselkomponenten zukünftiger Mobilitätskonzepte sehen. Um dieser Vision ein Stück näher zu kommen, hat Volkswagen in Zusammenarbeit mit Microsoft das Mixed-Reality-Headset HoloLens 2 erstmals für den Einsatz in fahrenden Fahrzeugen nutzbar gemacht.
Der neue Moving-Platform-Modus für die HoloLens 2 überwindet eine wesentliche Einschränkung von Mixed-Reality-Headsets und schafft Potenzial für neue Einsatzmöglichkeiten der Technologie – etwa um Fahrer für den Umgang mit schwierigen Strassenverhältnissen zu schulen oder neue Nutzererfahrungen für autonome Fahrzeuge zu schaffen. Und obwohl der Schwerpunkt von Volkswagen auf der Mobilität liegt, könnte die Fähigkeit in Zukunft auch in anderen Branchen genutzt werden.
Lösung in Zürich mitenwickelt
Volkswagen hoffte, HoloLens für das Forschungsprojekt nutzen zu können, stiess aber bald auf ein Problem. Als das Gerät in einem fahrenden Fahrzeug eingesetzt wurde, verloren seine Sensoren die Ortung und die Hologramme, die es normalerweise anzeigt, verschwanden. Volkwagen bat Microsoft um Hilfe und stellte den Kontakt zu Marc Pollefeys her, Microsofts Director of Science und Experte für 3D-Computer-Vision und maschinelles Lernen. Das Volkswagen Team reiste zum Hauptsitz von Microsoft in Redmond, Washington, um Pollefeys und seinem Team seine Arbeit mit HoloLens und seine Vision für Augmented-Reality-Technologie zu zeigen.
«Wir hatten ausführliche Diskussionen», sagt Pollefeys, heute Leiter des Mixed Reality and AI Lab von Microsoft in Zürich. «Sie präsentierten ihre Anwendungsfälle und was sie zu ermöglichen hofften. Sie waren sehr daran interessiert, mit uns zusammenzuarbeiten, um eine Lösung zu finden und HoloLens in diesen Situationen einsetzen zu können.» Die beiden Teams begannen ihre Zusammenarbeit im Jahr 2018, um die Funktion der beweglichen Plattform für HoloLens 2 zu entwickeln, für die ein grundlegendes Problem gelöst werden musste. HoloLens verwendet zwei Haupttypen von Sensoren, die die Bewegung messen: Kameras mit sichtbarem Licht und eine Trägheitsmesseinheit (IMU), die die Beschleunigung und die Rotationsgeschwindigkeit misst. Zusammen ahmen die Sensoren nach, wie Menschen die Welt sehen und sich in ihr bewegen.
In Zürcher Trams und Bussen getestet
Um dieses Problem zu lösen, entwickelte Pollefeys Team einen Algorithmus, der die Diskrepanzen zwischen den Sensoren modelliert und es HoloLens ermöglicht, die Verfolgung fortzusetzen. Die Erprobung dieser Fähigkeit stellte jedoch eine weitere Herausforderung dar. Da es in der Schweiz aufgrund der Covid-19-Beschränkungen nicht möglich war, die Technologie in einem Fahrzeug mit einer anderen Person auszuprobieren, musste Joshua Elsdon, ein leitender Software-Ingenieur bei Microsoft, der an dem Projekt mitarbeitete, von seiner Züricher Wohnung aus nach Lösungen suchen.
Elsdon entwickelte eine Plattformattrappe aus einer Plastikbox, in die er Klebebandstücke klebte, um eine visuelle Struktur zu erzeugen und den HoloLens-Kameras Elemente zur Verfolgung zu geben. Mit dem HoloLens-Headset fuhr er mit dem Tram und Bussen durch Zürich und vergewisserte sich, dass die Hologramme der HoloLens bei der Bewegung der Fahrzeuge stabil blieben. Nachts fuhr Elsdon in seinem Wohnblock mit den Aufzügen auf und ab, um die Technologie zu testen. «Wir mussten eine Menge Tests in meiner Wohnung durchführen. Das sind keine idealen Entwicklungsbedingungen», sagt Elsdon, der jetzt in Redmond lebt. «All diese Dinge wurden aus der Ferne und über verschiedene Länder verteilt durchgeführt, was sehr interessant war.»
Die Funktion der Moving Platform der HoloLens wird derzeit für den Einsatz auf grosen Schiffen unterstützt, und Microsoft plant, sie für den Einsatz in Aufzügen, Zügen, Autos und anderen beweglichen Umgebungen weiter zu verfeinern. Volkswagen sieht mehrere Möglichkeiten, wie die Technologie genutzt werden könnte, um das Innere von Fahrzeugen mit der Aussenwelt zu verbinden, beispielsweie um Lkw- oder Busfahrern bei der Navigation durch enge Strassen zu helfen, interessante Punkte entlang der Fahrtroute zu identifizieren oder Unterhaltung für Fahrgäste zu bieten.
