Der neue Research Mode für Microsoft HoloLens 2 ist jetzt über Windows Insider verfügbar. Der verbesserte Modus ermöglicht Forscher*innen und Entwickler*innen den direkten Zugriff auf Kamera- und Sensorrohdaten für das Kopf- und Hand-Tracking, um Microsoft HoloLens 2 als leistungsstarkes Forschungsgerät im Bereich Computer Vision zu nutzen.
Bei dem Forschungsfeld „Computer Vision“ handelt es sich um einen Teilbereich der künstlichen Intelligenz, bei dem eine stetige Bildanalyse und -Verarbeitung im Sichtfeld der Anwendenden erfolgt, um Systemen das Sehen und Erkennen von Objekten zu ermöglichen.
Verbesserungen des neuen Research Mode
Mit der neuesten Insider-Version von Windows 10 für HoloLens kann der verbesserte Research Mode auf der Microsoft HoloLens 2 aktiviert werden. Damit erhalten Anwender*innen Zugang zu einer Reihe von Sensoren. Im Vergleich zur vorherigen Version für die erste Edition der Microsoft HoloLens bietet der Research Mode für die Microsoft HoloLens 2 folgende Neuerungen:
- Forscher*innen und Entwickler*innen erhalten jetzt Zugriff auf IMU-Sensoren (Inertial Measurement Unit) wie Beschleunigungsmesser, Gyroskope und das Magnetometer, welche für die Lagebestimmung benötigt werden.
- Über den Forschungsmodus kann auch auf die Hand- und Blickverfolgung der Anwender*innen zugegriffen werden, was neue Experimente ermöglicht. Um die Privatsphäre von Anwender*innen zu schützen, werden beim Eye-Tracking über den Research Mode keine Kamera-Rohbilder verfügbar gemacht.
Über den Forschungsmodus kann auch auf die Hand- und Blickverfolgung der Anwender*innen zugegriffen werden, was neue Experimente ermöglicht. Um die Privatsphäre von Anwender*innen zu schützen, werden beim Eye-Tracking über den Research Mode keine Kamera-Rohbilder verfügbar gemacht.
Die Sensordaten können von Entwickler*innen direkt mit eigenen Algorithmen verarbeitet werden. Hierfür können die Daten direkt auf dem Gerät gespeichert sowie drahtlos auf einen anderen PC oder für rechenintensivere Aufgaben in die Microsoft Azure Cloud übertragen werden.
Unterschiedliche Kameratechnik macht es möglich
Der verbesserte Research Mode eignet sich besonders für Forschungsprojekte aus der Ich-Perspektive. So kann die Welt aus der Perspektive der Nutzer*innen, die die HoloLens 2 tragen, analysiert werden. Ermöglicht wird das durch die vielen Bildsensoren und Kameras, die sich in der Microsoft HoloLens 2 verbergen.
Microsoft HoloLens 2 verfügt über eine Tiefenkamera und insgesamt vier Graustufen-Kameras. Sie erfassen die Umgebung und können darüber hinaus auch die Hände der Anwender*innen erkennen und nachverfolgen. Die HoloLens lässt sich aber nicht nur mit den Händen, sondern auch mit den Augen steuern. Zwei Infrarotkameras und dazugehörige LEDs kümmern sich um das Eyetracking und die Iriserkennung.
Über den Research Mode können Wissenschaftler*innen die Ergebnisse der Lokalisierung und räumlichen Kartierung des Geräts nutzen und damit die Bewegungen von Anwender*innen exakt nachverfolgen. Daraus können beispielweise 3D-Modelle generiert werden. Auch genaue Bewegungsabläufe lassen sich auf diese Weise ableiten.
Die Sensorfähigkeiten der HoloLens 2 können auch für die Robotik wertvoll sein. Sie ermöglichen beispielsweise einem Roboter, sich in seiner Umgebung zu bewegen.
Der neue Research Mode für HoloLens 2 wurde bereits auf der European Conference on Computer Vision (ECCV) demonstriert. Zum Start sind auch einige Anwendungsbeispiele für die Computer-Vision-Forschung auf Github verfügbar. Darüber hinaus gibt es auf dieser Website eine umfassende Dokumentation zum Research Mode für Microsoft HoloLens 2.
Noch mehr technische Details zum Research Mode für Microsoft HoloLens 2 gibt es in diesem Blogpost von Marc Pollefeys.
Ein Beitrag von Michael Zawrel
Senior Product Manager Mixed Reality & HoloLens
