Челси Поттс очень хотела проявить себя с наилучшей стороны, когда она в первый раз оказалась в кабине грузовика Kenworth после работы на производственной линии.

«Когда вам поручают работу с Kenworth, ваша зарплата увеличивается примерно в два раза. Как вы понимаете, это заставляет понервничать, – говорит она. – У меня двое детей – одному 5 лет, другому 10 месяцев, и мой самый большой страх в жизни – остаться без работы».

Ее новая работа заключается в отделке интерьера кабин грузовиков со спальными местами, и это предусматривает сложную последовательность действий, которую непросто сразу запомнить. Чтобы прочитать учебное пособие или свериться с экраном, сотрудникам, имеющим дело с различными инструментами на сложном производстве, приходится отвлекаться от работы.

И это не единственный минус бумажных инструкций. Мало кто может быстро сориентироваться в описаниях и соотнести их с реальными объектами. Новички часто боятся задавать вопросы, чтобы не замедлять производство. Даже когда Челси смотрела, как кто-то другой устанавливает в кабине кровать, в которой потом будут спать дальнобойщики, ей было сложно уследить за тем, что именно делают рабочие, или понять, где расположены отверстия для шурупов.

Сегодня Microsoft представляет HoloLens 2, следующее поколение носимых голографических компьютеров со встроенным пакетом новых функций смешанной реальности, готовыми приложениями для бизнеса и сенсорами, которые могут воспринимать и предсказывать окружающий мир.

По словам Челси, именно такое устройство ей хотелось бы иметь, когда она только училась оборудовать кабины грузовиков и потратила на это немало нервов.

«Если бы у меня была такая вещь, когда я училась, я бы меньше переживала, – говорит она. – С ней ты видишь, где нужно применять какие инструменты, как они поворачиваются, а также пространство, которое обычно не видно. Шаг за шагом программа обучает тебя производственному процессу в любой удобной последовательности».

PACCAR, компания, в которой она работает, является мировым лидером в сфере проектирования и производства грузовых автомобилей. Она стала одной из первых фирм, протестировавших Dynamics 365 Guides, новое приложение с использованием смешанной реальности, которое сегодня стало доступно пользователям Microsoft. Оно позволяет компаниям легко создавать обучающие материалы для работников, при использовании которых им не придется листать книги или постоянно пользоваться поиском для того, чтобы найти нужную информацию.

Кроме того, сегодня Microsoft представляет новое устройство Azure Kinect, с помощью которого разработчики смогут создавать новые решения на базе ИИ. Azure Kinect сочетает ту же камеру с датчиком глубины, что и в HoloLens 2, с кольцевой системой микрофонов и камерой для цветной съемки, поддерживая работу с сервисами ИИ в Microsoft Azure. Оно позволяет разработчикам создавать новые возможности для восприятия реальности – например, понять, что пила работает в опасном положении, по звуку, который она издает, или научить роботов определять расстояние при упаковке грузов, или узнать, какой именно товар был взят с магазинной полки.

Эти новые технологии основаны на интеллектуальных сервисах, которые могут выполнять вычисления там, где это нужно, как внутри самого устройства – чтобы оно могло быстро обнаружить опасность – так и в облаке, где практически неограниченные вычислительные ресурсы помогают решать самые сложные проблемы. По словам представителей Microsoft, это и есть концепция «умных» устройств и «умного» облака в действии, которая теперь стала реальностью.

Кроме того, эти инструменты восприятия окружения и смешанной реальности облегчат внедрение в компаниях совершенно новой волны вычислительной техники, которая служит связующим звеном между цифровым и реальным мирами. Это стало возможным только благодаря недавним достижениям в сфере «умного» облака и «умных» устройств, в результате которых множество все более активно взаимодействующих друг с другом датчиков и устройств появляются повсюду, от бытовой техники и складских помещений до HoloLens 2, позволяя в реальном времени анализировать окружающую обстановку.

«Мы достигли стадии развития, при которой эта технология начала решать реальные проблемы. Сейчас вы действительно можете оценить, что представляет из себя эта новая волна в вычислительной сфере и как именно она способна помочь бизнесу, и я в восторге от этого», – отмечает Джулия Уайт, вице-президент Microsoft по маркетингу Azure.

От двухмерного экрана к голограмме 

До сих пор большинство людей взаимодействовали с вычислительными устройствами через плоские дисплеи: ноутбук, монитор компьютера, телефон, планшет, видеоигры на телеэкране. Решения с использованием смешанной реальности, которые предлагает Microsoft, позволяют отказаться от восприятия цифровой информации с прямоугольных экранов и дают людям возможность работать с голограммами в реальном мире. Они могут существовать независимо друг от друга, например, в виде трехмерного изображения человеческого сердца, которое студенты-медики могут захватить, изменить его размер или повернуть в любом направлении, чтобы лучше рассмотреть все детали. Или они могут соотноситься с физическими объектами в реальном мире, например, в виде инструкций по замене фильтра в котле, наложенных непосредственно на этот котел.

По словам представителей Microsoft, новые очки HoloLens 2 обеспечивают более полное погружение, а также более интуитивно понятны и удобны в использовании сотрудниками, руки которых заняты выполнением физического труда. Они помогают им выявить проблему в работе двигателя самолета или посмотреть пошаговую инструкцию по сборке аккумулятора для электробуса. Отмотать инструкцию назад и перепроверить правильность выполнения действия можно простым кивком головы или с помощью голосовой команды. При этом пользователь видит, куда именно завернуть тот или иной шуруп и в каком направлении повернуть рычаг, на реальном оборудовании, с которым он работает.

По сравнению с устройством первого поколения, HoloLens 2 также обладает новыми функциями, например, возможностью захватить и повернуть голограмму, как будто это реальный объект, вместо того, чтобы учить особые жесты. Технология слежения за движением глаз может распознать, когда взгляд пользователя направлен на определенную деталь прибора, и выдать полезную информацию о ней. Текст автоматически пролистывается по мере его прочтения. В конечном счете, вы как будто после просмотра движущихся картинок попадаете в реальный кинотеатр, где полностью погружаетесь в происходящее на экране.

Поле зрения нового устройства увеличилось более чем вдвое по сравнению с устройством первого поколения HoloLens, при этом новые технологии отображения делают голограммы более живыми и реалистичными.

«Впервые вы почувствуете, каково это – потрогать голограмму, взаимодействовать и играть с ней. В какой-то момент вы забываете, что это лишь элемент цифрового контента, а не реальный объект из физического мира», – говорит Алекс Кипман, ведущий технический специалист подразделения облачных вычислений и искусственного интеллекта Microsoft.

Возможности применения HoloLens 2 в бизнесе обеспечиваются растущим потенциалом «умных» технологий. Речь идет об огромном количестве устройств – от радионяней и датчиков в холодильниках до таких сложных приборов, как HoloLens, которые могут быстро и самостоятельно обрабатывать информацию.

Эти устройства могут сообщить самоуправляемому автомобилю, когда ему нужно повернуть, станку на заводе – когда ему нужно выключиться, а работникам магазина – что им нужно вытереть лужу, на которой могут поскользнуться посетители, – в случаях, когда решения необходимо принимать за считанные доли секунды, и даже там, где возможности связи ограничены.

По мере того, как «умные» устройства становятся все умнее, к ним предъявляются повышенные требования в плане безопасности. Приложения, которые ранее использовались для работы в облаке и на локальных серверах, теперь должны работать с самыми разнообразными устройствами, которые постоянно развиваются и разрабатываются для различных производственных процессов. Теперь Azure обеспечивает надежную работу с входными и выходными данными «умных» устройств с помощью таких решений, как Azure Sphere и Azure IoT, и позволяет разработчикам создавать продукты, которые одинаково хорошо работают в самых разнообразных вычислительных средах. А когда такие «умные» устройства соединяются с помощью «умного» облака, они позволяют лучше понимать процессы и в полной мере обеспечивают коллективные вычисления.

«HoloLens 2 представляет собой «умное» устройство с невероятно разнообразными возможностями в плане применения. Оно способно работать как автономно, так и будучи подключенным к любому облаку, – говорит Алекс Кипман. – Однако оно создавалось с учетом особенностей Azure. В паре с Azure оно становится инструментом для совместной работы, к которому можно получить доступ с любого устройства на любой платформе. Именно когда они работают вместе, тогда и начинается настоящее волшебство».

Истоки в Xbox и исследованиях

Эти достижения в области смешанной реальности и восприятия окружения стали возможны благодаря десятилетиям исследований и развития бизнеса в Microsoft: устройства распознавания жестов, изначально разработанные для Xbox, инвестиции в ИИ, уроки, извлеченные из первого поколения HoloLens, приложения, которые работают везде, где нужно, экспертные знания в области безопасности и управления учетными записями пользователей, а также многолетний опыт сотрудничества с клиентами и разработки корпоративных решений.

Однако для того, чтобы обеспечить совместную работу и опыт глубокого погружения, которые способна дать смешанная реальность, эти инструменты должны функционировать в открытой среде и работать с устройствами, которые уже есть у пользователей при себе или дома.

«Потенциал смешанной реальности заключается в том, что все эти устройства являются точками доступа к контенту, который существует в мире, – отметил Алекс Кипман. – Например, я хочу создать голограмму и поместить ее в центр комнаты. Если я выйду из комнаты, а вы войдете в нее со своими очками HoloLens или со своим смартфоном или планшетом, должны ли вы видеть эту голограмму? При условии соблюдения всех требований к безопасности данных и получения разрешения, ответ на этот вопрос – “да”».

Новый облачный сервис Azure Spatial Anchors, также представленный сегодня, позволяет людям создавать голограммы, которые потом сохраняются в определенном физическом пространстве. Доступ к ним могут получить сразу несколько человек, использующих HoloLens, телефоны или планшеты. Таким образом, например, менеджер магазина одежды может «оставить» голографические изображения одежды рядом с каждым манекеном, а на следующий день сотрудник может навести свой iPhone на каждый манекен, посмотреть, как он должен быть одет, и начать одевать его.

Технологии для сотрудников на производстве

Сотрудники, работающие в информационной сфере и делающие большую часть работы на компьютере – пишущие тексты, проектирующие различные вещи, отвечающие на электронные письма, управляющие людьми и принимающие бизнес-решения – в первую очередь воспользовались плодами активного развития технологий, которые позволяют им получить практически любую информацию по клику мыши и общаться в режиме реального времени. Это повлекло за собой невероятный скачок производительности как труда отдельных сотрудников, так и компаний в целом.

«Но большинство людей так не работает. Те, кто вручную занимаются сборкой, эксплуатацией, починкой, устранением дефектов и взаимодействием с физическими вещами, часто оставались на задворках технологической революции. Это дает невероятную возможность предоставить сотрудникам на производстве такие технологии, благодаря которым они смогут достичь сопоставимого скачка производительности», – отмечает Лоррейн Бардин, руководитель программы Dynamics 365 Mixed Reality at Work в Microsoft.

«Персонал, занятый на производстве, во многих компаниях не только жизненно важен в повседневной работе, но и определяет способ производства. Часто они составляют большинство сотрудников, – сказала Лоррейн Бардин. – И тем не менее, они практически не увидели всех преимуществ, которые технологии дали сотрудникам офисов и тем, кто работает в сферах, больше связанных с компьютерными технологиями».

Когда Microsoft начала расспрашивать компании о том, как смешанная реальность может помочь им, выяснилось, что ряд потребностей одинаковы в самых разных отраслях. Компаниям требуется помощь в налаживании связей между сотрудниками, работающими в удаленных местах или в разных офисах, с экспертами для решения проблем; при моделировании того, как оборудование, мебель или физические объекты будут располагаться в трехмерном пространстве; и в том, чтобы обучить новых сотрудников, которым необходимы свободные руки для выполнения работы.

Поэтому Microsoft создала такие готовые решения – аналогично тому, как программы вроде Microsoft Word и Excel помогали людям осознать преимущества новой операционной системы Windows – в виде приложений с использованием смешанной реальности для Microsoft Dynamics 365. Они позволяют компаниям практически сразу приступить к использованию HoloLens 2 для решения рабочих задач, без необходимости привлекать большое количество разработчиков.

Dynamics 365 Guides, а также Dynamics 365 Remote Assist и Dynamics 365 Layout входят в число самых первых приложений с использованием смешанной реальности, которые Microsoft предлагает для бизнеса. Dynamics 365 Guides позволяет компаниям перенести образовательные материалы с бумаги и экранов в трехмерное пространство с эффектом присутствия.

«Все хотят быть успешными, и возможность быстро привлечь новых работников и повысить их производительность труда просто неоценима», – говорит Роб Брэнсон, старший директор по глобальным технологиям и операциям в PACCAR ITD, протестировавшей раннюю версию Dynamics 365 Guides.

«Обучение взрослых будет более эффективным, если процесс визуализировать. Видя пошаговые инструкции, наложенные на реальный физический объект, сотрудник действительно быстрее освоит новую операцию», – сказал он.

Устройство HoloLens 2 было разработано с учетом этих требований – оно легче и намного удобнее, чем HoloLens предыдущего поколения. У него лучше сбалансированный центр тяжести, что позволяет носить его весь день. Новый откидной визор позволяет работникам легко переключаться между физическим и голографическим миром.

Надеть устройство не труднее, чем обычную кепку, зато благодаря ему сотрудники PACCAR могут пользоваться пошаговыми голографическими инструкциями для выполнения новых задач, таких как, к примеру, сборка двери грузовика. В руководствах Dynamics 365 подсвеченные стрелки образуют путь от каждой карточки инструкций прямо до нужного отверстия, куда продевается провод, или до местоположения нужного инструмента в заводском цехе.

Голографические рисунки, наложенные на реальную дверь, показывают, как выполнить задачу. А еще они подсвечивают конструкции за стальной панелью, которые нельзя увидеть, не обладая сверхспособностью видеть сквозь стены как рентген.

В отраслях, где средний возраст специалистов увеличивается, остро встает проблема передачи следующему поколению сотрудников опыт, накопленный за многие годы обучения и стажировки или десятилетия работы.

Например, в компании Alaska Airlines новому механику понадобится около двух лет, чтобы полностью обучиться и войти в курс дела. Технологии смешанной реальности дают надежду на то, что время овладения необходимыми навыками и умениями значительно сократится. Учебная среда с эффектом погружения находит живой отклик у сотрудников, которые выросли на видеоиграх и привыкли практически мгновенно получать доступ к цифровой информации.

«Это возможность оживить скучную бумажную документацию, – сказал Майк Лоренго (Mike Lorengo), директор по архитектуре и стратегическому развитию авиакомпании Alaska Airlines. – Вместо плоского листа бумаги я вижу трехмерное изображение, проецируемое на двигатель».

Интеллектуальное взаимодействие между людьми и предметами 

Смешанная реальность становится еще более эффективной, когда задействует уникальные возможности «умных» устройств и «умного» облака.

Иногда требуется быстро обрабатывать информацию на месте, не отправляя данные в облако. К таким случаям относятся данные с камер наблюдения, информирующих о сиюминутной опасности, или алгоритмы управления тормозными системами. Далеко не все данные от каждого датчика на каждой единице оборудования в заводском цехе релевантны в тот или иной момент времени. Таким образом, запуская менее сложные службы искусственного интеллекта (ИИ) на «умных» устройствах, можно отфильтровать ненужную информацию или выполнить задачи, которые не требуют облачных мощностей. Предположим, вам нужна голограмма, с помощью которой потенциальные клиенты могли бы представить, как будет выглядеть новый автомобиль или различные варианты возможных улучшений. Так вот, всего одно устройство HoloLens 2 со встроенными возможностями, используемое в демонстрационном зале или гостиной, будет обладать вполне достаточной для этого вычислительной мощностью и разрешением.

Но подключив это устройство к новой облачной службе смешанной реальности Azure Remote Rendering, вы сможете оперативно создавать сложные трехмерные цифровые модели, способные конкурировать с гипсовыми или детальными архитектурными моделями, на создание которых сегодня компания может потратить несколько дней или месяцев. Это было бы просто невозможно без облачных мощностей графических процессоров.

«Внезапно смешанная реальность оказывается способной не только улучшить, но и заменить весь бизнес-процесс – например, внедрить полностью цифровое строительство невозможными ранее методами», – сказала Джулия Уайт.

Компания PTC, один из партнеров Microsoft, разработала интегрированные системы, сочетающие в себе решения инфраструктуры Интернета вещей, облако Azure и инструменты смешанной реальности. Это системы, с помощью которых можно осуществить цифровую трансформацию самых разных компаний – от аэрокосмических предприятий до брендов одежды и медико-биологических организаций.

«Представьте себе лаборантку, которая однажды утром приходит на работу и обнаруживает, что важнейший аппарат, который обрабатывает образцы крови, сломался, – сказал Джим Хеппельманн, президент и генеральный директор PTC.

Несколько лет назад единственным способом выяснить, в чем проблема, были мигающий индикатор или неспецифическое сообщение об ошибке. Вероятно, она бы позвонила производителю, который, однако, не всегда может определить причину возникновения проблемы по телефону. Скорее всего, ему пришлось бы направить на объект специалиста по ремонту этого специализированного устройства, который может вообще работать в другом городе. Таким образом, на восстановление работы могло бы уйти несколько часов или даже дней. Между тем, пациенты, с нетерпением ожидающие результатов своих анализов, оставались бы в неведении.

Сегодня, благодаря службе ThingWorx for Azure, она может надеть устройство HoloLens 2 и увидеть голографическую панель мониторинга, где состояние и статус каждого элемента сопоставлено с физическим прибором. Данные, собранные крошечными датчиками Интернета вещей и отправленные в облако Azure, могут выявить проблему с одним из картриджей. Лаборантка может воспользоваться пошаговыми голографическими инструкциями, показывающими, как открыть крышку, какой рычаг откинуть и как вставить новую деталь. Если она не может разобраться, специалист по ремонту, находящийся в офисе производителя в Небраске, посмотрит на экран, увидит в точности то же самое, что она видит через HoloLens 2, и подробно прокомментирует шаги выполнения этой задачи.

«Это замкнутый цикл взаимодействия между людьми и предметами, – сказал Хеппельманн. – Устройства Интернета вещей сообщают мне о конкретной проблеме, а решения смешанной реальности позволяют превратить эту лаборантку в специалиста, способного решить простую проблему, чтобы сэкономить время и деньги на авиаперелеты и аренду автомобилей».

«Для любого конечного специалиста, который может носить гарнитуру смешанной реальности большую часть дня, улучшенный комфорт и увеличенное поле зрения в HoloLens 2 (позволяющее видеть несколько голограмм, читать текст и просматривать сложные детали в 3D) означает качественное улучшение его деятельности, – сказал Джим Хеппельманн.

«Вот почему HoloLens из устройства, с которым интересно играть и создавать прототипы, превращается в устройство, которое сегодня можно широко применять на заводах, в больницах и на стройках. Это большой шаг вперед», – добавил он.

Эти функции также важны для Bentley Systems, еще одного партнера Microsoft, который разрабатывает программное обеспечение для инженеров, архитекторов и строительных фирм, реализующих чрезвычайно сложные инфраструктурные проекты.

По словам Ноа Экхауса, старшего вице-президента Bentley по реализации проектов, при капитальном ремонте городского железнодорожного вокзала или строительстве нового футбольного стадиона из-за множества перемещающихся объектов и тяжелого оборудования создается ряд опасных ситуаций. Вот почему нельзя смотреть вниз, чтобы найти нужную информацию на телефоне или в планшете. Гарнитуры HoloLens позволяют работникам получать доступ к цифровой информации, не забывая о том, где они находятся.

С помощью HoloLens корпоративное ПО SYNCHRO позволяет работникам увеличивать масштаб конкретного места на строительной площадке и получать доступ к важной информации, такой как правила техники безопасности или инструкции по установке, касающиеся определенной области работы. На основе постоянно меняющихся реалий и прогнозов менеджеры могут в трех измерениях следить за тем, как будет выглядеть проект через два дня или три недели и предвидеть любые проблемы с планированием.

«Строительная площадка похожа на гигантский балет – это строго скоординированное действо, в котором в определенном пространстве происходит движение объектов и людей, – добавил он. – И в первый же рабочий день весь план меняется».

«И хотя сохранять и обновлять на одном устройстве планы для бунгало с двумя спальнями вполне возможно, отследить все изменения в масштабном инфраструктурном проекте без облака нельзя в принципе», – сказал Экхаус.

Подключая каждое устройство HoloLens на стройплощадке к основной модели, которая постоянно обновляется в Azure, SYNCHRO гарантирует, что сотрудники будут работать в одной и той же общей реальности и смогут на основе актуальной информации устанавливать порядок заданий, планировать перемещения крана, отслеживать ход реализации проекта и обеспечивать правила техники безопасности.

«Подключение к облаку имеет ключевое значение, потому что в таких крупных проектах поток информации, передаваемой работниками на объекте, инженерами и проектировщиками, никогда не прекращается, – сказал Экхаус. – А последствия реализации инфраструктурных проектов в физическом мире вполне реальны».

Мощные инструменты восприятия выходят на первый план 

Своему эффекту погружения устройство HoloLens 2 обязано двум определяющим достижениям в области компьютерного зрения и искусственного интеллекта. Способность интерпретировать физическое пространство с помощью семантического понимания позволяет ему отличать стены от окон, а диван от журнального столика. Естественное отслеживание движений рук позволяет людям более инстинктивно захватывать, вращать и менять размер голограмм, не изучая жесты, имитирующие движения мыши.

Этими достижениями мы обязаны четвертому поколению Kinect в сочетании с инструментами искусственного интеллекта. Такая технология определения глубины и движения была изначально разработана почти десять лет назад для создания устройства распознавания жестов для Xbox. Но способность точно определять глубину и показывать, как движутся в пространстве человеческие тела, стала применяться гораздо шире – не только в играх.

Ocuvera, например, использует Azure Kinect в системе, цель которой – предотвратить почти 1 млн падений, ежегодно происходящих только в больницах США, не говоря уже об остальном мире. Она определяет, когда пациент, которому нужна поддержка при ходьбе, пытается самостоятельно встать с кровати, заранее оповещая об этом медсестру, чтобы она успела вовремя прийти на помощь.

Используя камеру с датчиком глубины и алгоритмы искусственного интеллекта, система распознает паттерны движений еще до того, как пациент встанет с кровати – например, пока он садится или болтает ногами. Первоначальные результаты пилотных исследований в 11 клиниках показали, что после внедрения технологии число самостоятельных и незамеченных персоналом выходов из постели уменьшилось более чем на 90 процентов.

Генеральный директор Стив Кин отметил, что команда Ocuvera исследовала все существующие в мире камеры с датчиком глубины и даже пыталась создать свою собственную. В случаях, когда нужно было установить, движется ли пациент вперед или просто переворачивается, либо обнаружить первое покачивание ноги, ни одно из устройств не могло сравниться с Azure Kinect по точности.

«Это сродни поиску подсказок при игре в покер, – сказал он. – Только Azure Kinect предоставляет нам данные, позволяющие узнать, что по-настоящему происходит с пациентом в больничной койке, и с достаточной точностью предсказать его намерения. Когда мы проводим эксперимент в больнице, нам часто говорят, что это просто невозможно, но потом, когда они узнают, что это действительно работает, их изумлению нет конца. Это похоже на волшебство».

По словам Кина, ценность новой технологии Azure Kinect заключается в том, что она объединяет сенсорное оборудование с когнитивными сервисами Azure, с помощью которых разработчики могут легко и быстро развертывать решения ИИ. Благодаря этому команде Ocuvera будет легче интегрировать в свою систему службы распознавания голоса или перевода, позволяющие пациентам, к примеру, обращаться к медсестре на различных языках.

Как отметил Кин, сегодня все больше таких служб перемещаются в пограничную инфраструктуру, откуда их можно запускать локально, не отправляя данные в облако и не тратя драгоценные секунды.

«Azure Kinect – это не просто камера, а устройство, которое предоставляет доступ ко всем поистине важным службам, таким как распознавание речи и отслеживание движений тела. Словом, это невероятно ценное комплексное решение», – добавил Стив Кин.

Алекс Кипман, который потратил более десяти лет на то, чтобы сделать HoloLens 2 самым иммерсивным голографическим компьютером и самым интеллектуальным устройством в мире, сказал, что настоящая награда для любого изобретателя – видеть, как его творение помогает людям.

«Чтобы создать эту концепцию и воплотить ее в жизнь, мы вкладываем в наше дело сердца, тела, души и все возможное время, – сказал Кипман. – Сегодня настал момент истины: мы видим, как с помощью этой технологии наши клиенты могут быть конкурентоспособными, проводить цифровую трансформацию и достигать того, чего не могли раньше, а также делать то, чего мы никогда себе даже не представляли. Все это приводит меня в восторг».

Дженнифер Лэнгстон пишет об исследованиях и инновациях Microsoft. Подпишитесь на нее в Twitter.