Настоящий эффект присутствия
Microsoft Mesh позволяет делиться впечатлениями в смешанной реальности
В течение многих лет Ги Лалиберте, соучредитель Cirque du Soleil, получал бесчисленные предложения по технологиям виртуальной реальности, но они не могли сравниться с магией его визуально насыщенных и завораживающих живых выступлений. Теперь, благодаря новой платформе Microsoft, он переосмысливает возможности виртуальных представлений.
Во вторник он выступил на цифровой конференции Microsoft Ignite с помощью «холопортации», в которой используется технология 3D-съемки для получения реалистичного изображения человека в виртуальной среде. На первом мероприятии компании, полностью разработанном для смешанной реальности, люди со всего мира, посетившие конференцию, не выходя из дома, могли смотреть выступления как аватары, наблюдая за событиями в общем голографическом пространстве.
Это была первая демонстрация возможностей Microsoft Mesh, новой платформы смешанной реальности на базе Azure, которая позволяет людям, физически находящимся в разных местах, совместно работать и обмениваться голографическим опытом на различных устройствах.
«Это было мечтой для смешанной реальности, ее идеей с самого начала, — говорит технический специалист Microsoft Алекс Кипман. — Вы можете по-настоящему почувствовать, что находитесь рядом с тем, кто делится контентом, или телепортироваться с разных устройств смешанной реальности и быть вместе с людьми, даже когда вы далеко».
Кипман появился на виртуальной сцене Ignite как полностью реализованная «холопортация» самого себя и выступил со вступительным словом в реальном времени, представ в виде лучей света, имитирующих его физическое тело.
Джеймс Кэмерон, кинорежиссер и исследователь океана, и Джон Ханке, генеральный директор и основатель компании-лидера в области дополненной реальности Niantic, Inc., тоже удаленно присоединились к Кипману, чтобы рассказать, как Microsoft Mesh помогает им создавать совместный опыт в виртуальном и физическом мирах.
Лалиберте побеседовал с Кипманом о новом сотрудничестве, призванном помочь Lune Rouge — еще одной компании, которую основал Лалиберте, — реализовать проект под названием Hanai World. Это социальная платформа смешанной реальности, которая объединит живые и цифровые впечатления в едином событии, о которой он думал долгие годы, но только сейчас у него появились такие технологии, как Microsoft Mesh, соответствующие этому видению.
Кроме того, Microsoft Mesh позволит географически распределенным командам более тесно сотрудничать, проводить виртуальные сеансы проектирования, помогать коллегам, вместе учиться и устраивать виртуальные социальные встречи. Компания сообщает, что сначала в этих общих виртуальных взаимодействиях люди смогут выступать как аватары, а со временем использовать «холопортацию», чтобы делать свое представление фотореалистичным, почти не отличимым от настоящего.
Эта новая платформа стала результатом многолетних исследований и разработок Microsoft в различных областях — от HoloLens и отслеживания движений рук и глаз до устойчивых голограмм и моделей искусственного интеллекта, которые могут создавать выразительные аватары.
Microsoft Mesh, созданная на базе платформы облачных вычислений Microsoft Azure, получает преимущества функций безопасности и конфиденциальности платформы Azure и может задействовать ее огромные вычислительные мощности, данные, искусственный интеллект и сервисы смешанной реальности.
«Мы все больше и больше наращиваем ценность нашего интеллектуального облака Azure, — говорит Кипман. — В этом совместном опыте контент находится не внутри устройства или приложения. Голографический контент находится в облаке, и нужны только специальные очки, чтобы его увидеть».
Благодаря приложениям с поддержкой Microsoft Mesh дизайнеры или инженеры, работающие с трехмерными физическими моделями, — будь то велосипеды, мебель, реактивные двигатели или спортивные стадионы, — смогут выходить в общее виртуальное пространство для совместной работы над голографическими моделями, не завися от физического местонахождения.
Архитекторы и инженеры смогут физически пройтись по голографической модели строящегося производственного цеха и проверить, как оборудование сочетается друг с другом в трех измерениях, чтобы избежать дорогостоящих ошибок.
Студенты-инженеры или медики, изучающие двигатели электромобилей или анатомию человека, смогут собираться в виде аватаров вокруг голографической модели и убирать части двигателя или мышцы, чтобы посмотреть, что под ними. Коллеги смогут встретиться и поговорить в общем виртуальном пространстве, а компании —использовать совместимые с Microsoft Mesh приложения, чтобы проводить виртуальные собрания и тренинги для сотрудников по всему миру.
Как сообщили в компании, платформа Microsoft Mesh в ближайшие месяцы предложит разработчикам полный набор инструментов на основе ИИ для создания аватаров, управления сеансами, рендеринга пространства, синхронизации нескольких пользователей и голопортации для построения совместных решений в смешанной реальности.
Пользователи получат широчайшие возможности в смешанной или виртуальной реальности, а разработчики благодаря открытым стандартам Microsoft Mesh смогут создавать решения, которые будут работать на многих устройствах, включая HoloLens 2, гарнитуры виртуальной реальности, смартфоны, планшеты и ПК.
На Ignite Microsoft анонсировала два приложения, построенные на платформе Microsoft Mesh.
Среди них предварительная версия приложения Microsoft Mesh для HoloLens, которая позволяет членам команды удаленно сотрудничать и уже доступна для загрузки. Потребители также могут запросить доступ к новой версии AltspaceVR с поддержкой Mesh , которая позволит компаниям проводить собрания и совещания в виртуальной реальности, используя функции безопасности корпоративного уровня, такие как безопасный вход в систему, управление сеансами и обеспечение конфиденциальности.
Со временем, говорят в компании, потребители получат растущий набор приложений с поддержкой Microsoft Mesh от партнеров и сторонних разработчиков и смогут пользоваться преимуществами запланированной интеграции с продуктами Microsoft, такими как Microsoft Teams и Dynamics 365.
«Вот почему мы так увлечены смешанной реальностью и считаем ее следующей глобальной средой для совместных вычислений, — сказал Кипман. — Это волшебно, когда два человека видят одну и ту же голограмму».
Исследуем мир вместе
На борту OceanXplorer, одного из самых передовых исследовательских судов, изучающих глубины морей, не так много места для ученых, жаждущих учиться на новых данных, которые постоянно собирают приборы и камеры, установленные на глубоководных аппаратах, способных собирать любые образцы, от коралловых рифов и проб воды до морских обитателей, живущих возле глубинных гидротермальных источников, и минералов с подводных вулканов.
На Ignite некоммерческая организация OceanX, объединяющая достижения науки с убедительным сторителлингом и предоставляющая продукты и технологии для образования и повышения осведомленности об океане, объявила о новом сотрудничестве с Microsoft для создания на корабле «голографической лаборатории» с поддержкой Mesh, в которой ученые смогут собираться физически или виртуально из лабораторий и офисов по всему миру, чтобы увидеть трехмерные голограммы областей, исследуемых глубоководными аппаратами.
Например, исследователи, которые выясняют, почему кашалоты охотятся в определенных местах, могут увидеть голографическое изображение глубоководного каньона с информацией, полученной от прикрепленных к китам маячков, вместе c показателями солености, температуры и химического состава воды и интегрированными данными эхолотов, показывающих, где могут быть кальмары и другая добыча.
«Идея в том, чтобы взять все эти удивительные научные данные, которые мы собираем, перенести в голографическую среду и использовать, чтобы направлять научные миссии в режиме реального времени», — говорит Винсент Пьерибоне, вице-председатель OceanX.
Разработчики хотят предоставить любому исследователю, вооруженному HoloLens 2 или другим совместимым устройством с Microsoft Mesh, возможность появляться в общем пространстве в качестве аватара, указывать на любую область голографического морского дна, насчет которой есть вопросы, и в режиме реального времени обсуждать увиденное с другими учеными.
Во время исследовательских миссий OceanX люди часто собираются, чтобы посмотреть видео, задают вопросы и между делом беседуют с коллегами. «Исследователи, которых нет на борту корабля, даже если они смотрят те же самые кадры в своем офисе, не всегда получают выгоду от такого взаимодействия», — говорит Пьерибоне.
«Тут очень важен социальный компонент, — отмечает он. — Мы хотим собрать всех в одной «комнате», чтобы они могли общаться друг с другом, устанавливать эту межличностную связь».
Чтобы подтвердить возможности, открывающиеся в совершенно других исследованиях, Niantic представила на Ignite демонстрационную версию Pokémon GO, работающую на HoloLens 2. Ее разработали, чтобы показать концепцию нового сотрудничества, в основу которого лягут технологии дополненной и смешанной реальности Microsoft и Niantic.
Ханке не представлял нового потребительского продукта, но в качестве демонстрации будущих возможностей устроил в своем любимом парке сеанс смешанной реальности вместе с группой покемонов и Вероникой Сарон, менеджером по маркетингу Pokémon GO.
По словам Ханке, миссия Niantic состоит в том, чтобы создавать технологии, которые помогают людям общаться и вместе исследовать мир, будь то дети, использующие Pokémon GO для изучения окрестностей с родителями или друзьями, или тысячи людей, собирающиеся в парках на фестивали.
«Microsoft Mesh предлагает совершенно новый способ делать это, — говорит Ханке. — Я могу брать с собой своих виртуальных друзей, когда выхожу на улицу, гуляю и исследую мир. Мне нравится эта концепция, и мне действительно интересно узнать, что мы можем с этим сделать».
Это было мечтой для смешанной реальности, ее идеей с самого начала.
Демоверсия показала потенциал Pokémon GO на платформе планетарного масштаба Niantic, которая позволяет миллионам людей получить в реальном мире опыт дополненной реальности, улучшенный функциями Microsoft Mesh для обмена впечатлениями через пространство и время с помощью HoloLens.
«Наша задача — объединять цифровой и физический миры, соединять биты и атомы, чтобы этот опыт стал возможен с использованием платформы Niantic, — говорит Ханке. — Но на самом деле в основе всего, что мы делаем, лежат социальные связи, и инновации Microsoft Mesh только обогащают их».
«Другой уровень человеческих связей»
Квебекская организация Lune Rouge, которую создал Лалиберте из Cirque du Soleil, начинает изучать, как с помощью Microsoft Mesh люди могут виртуально посещать концерты, театральные представления, выступления ди-джеев и даже семейные праздники, находясь далеко от места событий.
Проект Hanai World, вдохновленный гавайским словом hanai, которое примерно переводится как «называть кого-то членом своей семьи», создан для установления новых связей между цифровыми и физическими развлечениями.
Цель проекта — создать цифровые представления развлекательных шоу по всему миру и запечатлеть живые выступления в трехмерном формате с достаточной точностью, чтобы люди могли получить в смешанной или виртуальной реальности те же впечатления, что и при физическом посещении. Платформа будет курировать объединенный контент от пользователей и Lune Rouge в самых разных жанрах и форматах.
«Это было бы прекрасным дополнением к живому представлению, — говорит Александр Мясников, исполнительный директор по производству Lune Rouge. — Это даст другой уровень человеческих связей и поможет людям, которые не могут прийти на мероприятие из-за географической удаленности или по другим причинам».
Друзья, живущие в разных концах страны, могут вместе посмотреть концерт в качестве аватаров, а когда-нибудь голопортация чьей-нибудь бабушки, живущей в другой стране, поможет всей семье собраться в режиме реального времени.
«Сегодня у нас есть многообещающая технология, и мы не знаем, как скоро мы сможем реализовать ее потенциал, — говорит Мясников. — Но мы думаем, что Microsoft Mesh закладывает хороший фундамент, на котором мы будем строить свои проекты».
Кипман говорит, что именно в этом и заключается цель: увидеть, какие решения, которые раньше считались невозможными или слишком затратными, теперь можно создавать с помощью платформы Microsoft Mesh.
«Если подумать о том, что нужно, чтобы создать новую среду для вычислений, то будет понятно, что необходимы глубокие инвестиции в экосистему, а Microsoft как раз это и сделала», — сказал он.
«Теперь мы приглашаем людей создавать свои решения и пользоваться преимуществами наших многолетних напряженных исследований и разработок, которые предлагают все необходимые инструменты для этого».
