Microsoft HoloLens: прямой доступ к видеосенсорам в исследовательском режиме поможет разработчикам компьютерного зрения

Microsoft HoloLens — первый в мире самодостаточный голографический компьютер. И теперь, благодаря исследовательскому режиму (Research Mode), появившемуся в последнем выпуске Windows 10, HoloLens становится мощным устройством для исследований в области компьютерного зрения. Из кода приложений разработчики могут не только обращаться к аудио- и видеопотокам с сенсоров, но и использовать встроенные алгоритмы компьютерного зрения, такие как SLAM (локализация с одновременным построением карты), чтобы получать данные о движении HoloLens в пространстве, а также алгоритмы пространственного сопоставления (spatial mapping), чтобы создавать трехмерные модели окружающей среды. Это возможно благодаря нескольким встроенным видеокамерам, которые дополняют цветную видеокамеру, обычно доступную приложениям.

HoloLens имеет четыре камеры слежения за окружающей средой, формирующие изображение в оттенках серого (grayscale), и датчик глубины для измерения расстояний и захвата жестов пользователя. Как показано на рис. 1, две grayscale-камеры настроены как стереоустановка, которая захватывает область перед устройством, так что расстояния до отслеживаемых визуальных элементов можно определять при помощи триангуляции. Две дополнительные grayscale-камеры помогают расширить поле зрения для функций отслеживания. Эти синхронизированные камеры с кадровым затвором (global-shutter) имеют гораздо большую светочувствительность, чем цветная камера, и формируют изображение со скоростью до 30 кадров в секунду (FPS).

Датчик глубины использует активную инфракрасную (ИК) подсветку для определения расстояния до объектов через «время пролёта». Эта камера может работать в двух режимах. Первый обеспечивает высокочастотное (30 FPS) измерение расстояний до близко расположенных объектов и обычно используется для ручного отслеживания, тогда как второй используется для низкочастотного (1–5 FPS) измерения расстояний до далеких объектов и в настоящее время применяется для пространственного сопоставления (spatial mapping). Кроме измерения расстояний, эта камера позволяет получать ИК-изображения с активным освещением, которые могут быть полезными сами по себе, поскольку ИК-излучение исходит непосредственно из HoloLens, и на него почти не влияет окружающий свет.

Рис. 1. Встроенные датчики HoloLens для получения grayscale-изображений, дополняющие цветную камеру, обычно доступную приложениям.
Рис. 1. Встроенные датчики HoloLens для получения grayscale-изображений, дополняющие цветную камеру, обычно доступную приложениям.

В новейшем выпуске Windows 10 для HoloLens у исследователей появилась возможность включить на своих устройствах HoloLens исследовательский режим (Research Mode), чтобы получить доступ к потокам необработанных (raw) данных со всех аудио- и видеосенсоров (рис. 2).

Исследователи по-прежнему могут использовать результаты, полученные встроенными алгоритмами компьютерного зрения, но теперь могут обращаться еще и к необработанным данным с сенсоров, чтобы использовать их в своих собственных алгоритмах. Потоки данных с сенсоров HoloLens можно обрабатывать непосредственно на устройстве, а также передавать по беспроводной связи на другой компьютер или в облако, если требуется большая вычислительная мощность. Это открывает перед HoloLens множество новых возможностей в области компьютерного зрения. Например, HoloLens можно использовать для анализа мира с точки зрения пользователя, носящего это устройство. Для такого применения ключевым преимуществом может быть способность HoloLens визуализировать результаты алгоритмов в 3D-мире, разворачивающемся перед пользователем. Кроме того, сенсорные возможности HoloLens могут быть очень полезными для робототехники: например, с их помощью робот может ориентироваться в окружающей среде.

Рис. 2. Пример приложения HoloLens, в реальном времени отображающего любые потоки видеоданных в исследовательском режиме.
Рис. 2. Пример приложения HoloLens, в реальном времени отображающего любые потоки видеоданных в исследовательском режиме.

Tags: , ,

Связанные посты