Microsoft HoloLens 2: Research Mode für Computer-Vision-Forschung

Dunkelhaariger Mann trägt HoloLens

Der neue Research Mode für Microsoft HoloLens 2 ist jetzt über Windows Insider verfügbar. Der verbesserte Modus ermöglicht Forscher*innen und Entwickler*innen den direkten Zugriff auf Kamera- und Sensorrohdaten für das Kopf- und Hand-Tracking, um Microsoft HoloLens 2 als leistungsstarkes Forschungsgerät im Bereich Computer Vision zu nutzen.

Bei dem Forschungsfeld „Computer Vision“ handelt es sich um einen Teilbereich der künstlichen Intelligenz, bei dem eine stetige Bildanalyse und -Verarbeitung im Sichtfeld der Anwendenden erfolgt, um Systemen das Sehen und Erkennen von Objekten zu ermöglichen.

Verbesserungen des neuen Research Mode

Mit der neuesten Insider-Version von Windows 10 für HoloLens kann der verbesserte Research Mode auf der Microsoft HoloLens 2 aktiviert werden. Damit erhalten Anwender*innen Zugang zu einer Reihe von Sensoren. Im Vergleich zur vorherigen Version für die erste Edition der Microsoft HoloLens bietet der Research Mode für die Microsoft HoloLens 2 folgende Neuerungen:

  • Forscher*innen und Entwickler*innen erhalten jetzt Zugriff auf IMU-Sensoren (Inertial Measurement Unit) wie Beschleunigungsmesser, Gyroskope und das Magnetometer, welche für die Lagebestimmung benötigt werden.
  • Über den Forschungsmodus kann auch auf die Hand- und Blickverfolgung der Anwender*innen zugegriffen werden, was neue Experimente ermöglicht. Um die Privatsphäre von Anwender*innen zu schützen, werden beim Eye-Tracking über den Research Mode keine Kamera-Rohbilder verfügbar gemacht.

Über den Forschungsmodus kann auch auf die Hand- und Blickverfolgung der Anwender*innen zugegriffen werden, was neue Experimente ermöglicht. Um die Privatsphäre von Anwender*innen zu schützen, werden beim Eye-Tracking über den Research Mode keine Kamera-Rohbilder verfügbar gemacht.

Die Sensordaten können von Entwickler*innen direkt mit eigenen Algorithmen verarbeitet werden. Hierfür können die Daten direkt auf dem Gerät gespeichert sowie drahtlos auf einen anderen PC oder für rechenintensivere Aufgaben in die Microsoft Azure Cloud übertragen werden.

Erklärbild HoloLens

Unterschiedliche Kameratechnik macht es möglich

Der verbesserte Research Mode eignet sich besonders für Forschungsprojekte aus der Ich-Perspektive. So kann die Welt aus der Perspektive der Nutzer*innen, die die HoloLens 2 tragen, analysiert werden. Ermöglicht wird das durch die vielen Bildsensoren und Kameras, die sich in der Microsoft HoloLens 2 verbergen.

Microsoft HoloLens 2 verfügt über eine Tiefenkamera und insgesamt vier Graustufen-Kameras. Sie erfassen die Umgebung und können darüber hinaus auch die Hände der Anwender*innen erkennen und nachverfolgen. Die HoloLens lässt sich aber nicht nur mit den Händen, sondern auch mit den Augen steuern. Zwei Infrarotkameras und dazugehörige LEDs kümmern sich um das Eyetracking und die Iriserkennung.

Über den Research Mode können Wissenschaftler*innen die Ergebnisse der Lokalisierung und räumlichen Kartierung des Geräts nutzen und damit die Bewegungen von Anwender*innen exakt nachverfolgen. Daraus können beispielweise 3D-Modelle generiert werden. Auch genaue Bewegungsabläufe lassen sich auf diese Weise ableiten.

Die Sensorfähigkeiten der HoloLens 2 können auch für die Robotik wertvoll sein. Sie ermöglichen beispielsweise einem Roboter, sich in seiner Umgebung zu bewegen.

Der neue Research Mode für HoloLens 2 wurde bereits auf der European Conference on Computer Vision (ECCV) demonstriert. Zum Start sind auch einige Anwendungsbeispiele für die Computer-Vision-Forschung auf Github verfügbar. Darüber hinaus gibt es auf dieser Website eine umfassende Dokumentation zum Research Mode für Microsoft HoloLens 2.

Noch mehr technische Details zum Research Mode für Microsoft HoloLens 2 gibt es in diesem Blogpost von Marc Pollefeys.


Ein Beitrag von Michael Zawrel

Senior Product Manager Mixed Reality & HoloLens

Bild von Michael Zawrel, Mixed Reality

Tags: , , , ,

Weitere Infos zu diesem Thema

22. November 2021
Black Friday: Unsere Geheimtipps aus der Microsoft-Welt

Wer schon früh an Weihnachtsgeschenke denkt oder vielleicht auch für sich selbst eine Wunschliste führt, hat sich den Tag bestimmt schon im Kalender markiert – der Black Friday steht mal wieder auf dem Plan. Für alle die in diesem Zuge auf der Suche nach einem neuen Device sind, möchten wir ein paar interessante Angebote unserer Retail-Partner vorstellen.

18. November 2021
Windows 10 November 2021 Update ab sofort verfügbar

Der Rollout des Windows 10 November 2021 Updates hat begonnen. Das schrittweise verfügbare Update biete Verbesserungen in den Bereichen Produktivität, Sicherheit und Verwaltung. Einen kurzen Überblick über die neuen Features enthält dieser Blogpost. Windows 10 Feature Updates werden zukünftig in einem jährlichen Rhythmus veröffentlicht.

18. November 2021
Surface meets Music – Microsoft und Beatport erweitern Partnerschaft

Gemeinsam mit unserem Partner Beatport haben wir uns letzten Sommer auf eine musikalische Reise zu spektakulären Orten in Deutschland und der Schweiz begeben. Mit der Kampagne „Originals²“ führen wir diese Partnerschaft nun fort, um weltweit bekannte Produzent*innen und DJs mit Newcomern zu vernetzen und so die neue Generation Künstler*innen zu fördern.