HoloLens 2 が産業用メタバースの世界に新たな没入型コラボレーションツールを提供

※本ブログは、米国時間 12 月 15 日に公開された ”HoloLens 2 brings new immersive collaboration tools to industrial metaverse customers” の抄訳を基に掲載しています。

Toyota Motor North America (以下 Toyota) の応用技術研究所を率いるデビッドクライナー (David Kleiner) 氏は、正確な指示書があったとしても、やはり自動車の組立プロセスにはちょっとしたアート的な要素が求められる部分がある、と語ります。

例えば、ドアエッジプロテクターをハンマーで打ち込む作業を考えてみましょう。ドアエッジプロテクターとは、急にドアを開けて壁や駐車中の車にドアがぶつかった際、へこみやくぼみを防ぐ、薄くて細長い鋼鉄のことです。ハンマーの力が強すぎると車が傷つきますし、弱すぎるとドアを閉めた時にエッジガードが外れてしまいます。

最近の話なのですが、ニュージャージー州の Toyota Logistics Center の作業員が、その適切な力加減を把握しようと悪戦苦闘していました。そこで、マイクロソフトの複合現実ヘッドセット HoloLens 2 を装着してホログラフィックウィンドウを開き、カリフォルニアにいる同僚に助けを求めることにしました。すると作業員は、即座に国の反対側にいる同僚の目を通して状態を把握できるようになったのです。

「秘訣は音を聞いてみることだ」と、その同僚は言いました。そこで作業員は、ちょうどいい角度でドアエッジプロテクターを叩き、同僚がまるで隣で見聞きしているようなはっきりした音と明確な映像を届けました。

その時にうまく生成した音は、現在 Toyotaで他の作業員がドアエッジプロテクターを取り付ける際に役立っています。動画が HoloLens 2 で録画され、Microsoft Dynamics 365 Guides にステップごとの手順としてホログラフィック形式で取り込まれているため、全作業員がその知識の恩恵を受けているのです。

この話は、HoloLens 2 が Kaizen というトヨタの基本原則に完全にマッチしたツールであることを示したものだとクライナー氏は考えています。また、HoloLens 2 が Toyota のイノベーションラボを越え、日常の職場にまで浸透した理由も、この話で説明がつくとしています。米国の Toyota Logistics Center 6 拠点では、作業員が HoloLens 2 を使ってトレーニングやガイダンス、コラボレーションをハンズフリーで行っています。クライナー氏によると、カナダとメキシコの拠点でも近々 HoloLens 2 を導入する予定で、今後さらに拡張を計画しているとのことです。

「Toyota が決定的な指標としているのはスピードです」とクライナー氏は語ります。「人材のトレーニングや問題解決の時間が早ければ早いほど、製品の市場投入までの時間も早まります。だからこそ、当社では場所や時間を乗り越えたい、皆に素早く動いてもらい、知識を共有してもらいたい、と考えているのです。HoloLens がこの想いをすべて実現してくれました」

Microsoft Dynamics 365 Guidesの最新アップデートにより、HoloLens 2は、Teams会議やチャット、Power BIダッシュボード、Word文書、PDF、ビデオ、OneDriveフォルダ、カレンダーなどのホログラフィックウィンドウを並べて配置して、没入感のある3D体験で操作できるようになりました。 — Microsoft Dynamics 365 Guides の最新アップデートにより、HoloLens 2 は、Teams 会議やチャット、Power BI ダッシュボード、Word 文書、PDF、ビデオ、OneDrive フォルダ、カレンダーなどのホログラフィックウィンドウを並べて配置して、没入感のある3D体験で操作できるようになりました。

Toyota をはじめとする企業のお客様からの採用が加速的に増加したことを受け、この 1 年でマイクロソフトは HoloLens 2 プラットフォームに多額の投資を行ってきました。没入型コラボレーションが実現するアップデートを施したほか、デバイス群の拡張や管理ができるソリューションも用意しました。こうした投資により、病院や半導体クリーンルーム、発電所、解剖学研究室、建設現場など、HoloLens のヘッドセットを活用しているさまざまな業界の作業員がテクノロジの恩恵を受けています。

マイクロソフトの最新アップデートでは、主要な Dynamics 365 Mixed Reality アプリの統合も実現しており、すでに統合している Microsoft Azure や Power Platform に加えて Microsoft Teams と OneDrive も追加しています。これにより、マイクロソフトはデスクワークが中心の従業員が長年利用しているクラウドによる生産性ツールやコラボレーションツールを、現場の作業員にも提供することになりました。HoloLens 2 のユーザーは、Teams の通話やチャット、Power BI ダッシュボード、Word 文書、PDF やビデオ、OneDrive フォルダ、カレンダーなどのホログラフィックウィンドウをどこからでも呼び出すことができ、没入感のある 3D 体験で操作することが可能です。

マイクロソフトで Azure およびインダストリー担当コーポレートバイスプレジデントを務めるアリサテイラー (Alysa Taylor) は、「当社では、まさに Windows を複合現実の世界で提供しています」と語ります。

Toyota のような企業が、メタバースを試乗するだけにとどまっていない理由も、こうした機能で説明がつくことでしょう。

この話を聞いて、オンラインの世界で自身を表現するアバターを思い出した人も多いのではないでしょうか。テイラーは、その考えはある意味正確な描写だと語ります。マイクロソフトでは、メタバースには複数の異なるカテゴリがあると考えています。友人や家族と買い物をしたり遊んだりする、おなじみの消費者向けメタバースがある一方で、同僚と協力して仕事に取り組む商業用・産業用メタバースもあるのです。

テイラーによると、Toyota などの企業が活用している産業用メタバース (インダストリアルメタバース) は、人間と AI が協力して物理システムを設計して構築し、運用し、最適化するのにあたって根本的に新しい方法だとしています。Microsoft Azure や Dynamics 365、そしてデジタルと物理を橋渡しする複合現実製品を活用することで、工場のフロアや倉庫におけるデジタルツインを構築し、製造プロセスやサプライチェーンプロセスをクラウド上でシミュレーションできるようになります。これにより、運用効率の向上や環境フットプリントの削減などに物理的な形で取り組む前に、産業用メタバースでそのプロセスを改良できるのです。

複合現実は、マイクロソフトの産業用メタバースソリューションの中核となるテクノロジだとテイラーは語ります。 HoloLens 2 は、手を使って作業するためコンピュータやキーボードが使えない現場の作業員にもソリューションを提供します。 HoloLens 2 の発売以来、マイクロソフトはお客様からのフィードバックを取り入れ、デバイスを現場でも実際に使えるよう投資してきました。その内容は、バッテリー持続時間の向上や、安全メガネにかぶせて使えるようなデザイン、IT 部門がデバイスを簡単に管理できるようにするアップデートなど、さまざまです。

「現場の作業員は、世界最大の産業の大部分を支える人たちです。それなのに、これまではテクノロジの恩恵をあまり受けていませんでした」とテイラーは話します。「クラウド上には知識や情報がたくさん詰まっていますが、デスクがない現場や工場のフロアにいる作業員はどうやってデジタルの世界にアクセスすればいいのでしょうか?」

その答えとしてマイクロソフトが用意したのが、HoloLens 2 と Dynamics Mixed Reality アプリケーションスイートです。Azure クラウドサービスが手間のかかる作業を請け負い、デジタル情報をユーザーの物理的な世界に統合しているのです。このホログラフィック体験により、産業プロセスをより迅速に習得できるようになり、世界中の仕事仲間が同じ部屋にいるような感覚で専門的なアドバイスを与えることもできます。しかも、長距離移動による費用や環境への負荷はかかりません。

「現場の従業員にはデスクがありません。ノート PC を渡してもうまくいかないのです」と、Toyota のクライナー氏。「HoloLens に、現場で働く作業員の PC 画面の役目を果たしてもらいたいと考えています。HoloLens を装着することで、作業員もようやく自分に必要なデジタルツールがすべて揃った画面を手に入れたのです」

Toyotaはマイクロソフトとともに、「オブジェクト理解（object understanding）」と呼ばれるHoloLens 2の機能を開発しました。これにより、技術者が周りを歩き回っても、HoloLens 2が、個々のパーツではなく、車全体をスキャンし、ホログラムを所定の位置に固定できるようになりました。 — Toyota はマイクロソフトとともに、「オブジェクト理解 (object understanding)」と呼ばれる HoloLens 2 の機能を開発しました。これにより、技術者が周りを歩き回っても、HoloLens 2 が、個々のパーツではなく、車全体をスキャンし、ホログラムを所定の位置に固定できるようになりました。

お客様からのフィードバックで製品が向上

2019 年に HoloLens 2 が発売されて以来、マイクロソフトは月例ソフトウェアアップデートを 34 回実施しています。そのアップデートの中で、新しい地域でのサポートも開始しました。アップデートの多くは新機能の追加で、アクセシビリティの観点から色弱の方向けのモードを提供したほか、ヘッドトラッキングのアルゴリズムを調整し、船上などの不安定な環境でも HoloLens 2 を装着できるようにしました。

マイクロソフトで Mixed Reality 担当バイスプレジデントを務めるスコットエバンズ (Scott Evans) によると、こうした新機能はすべてお客様からのフィードバックがきっかけだったといいます。

「ヘッドアップ技術やハンズフリー技術は、働き方を大きく前身させるものです」とエバンズは話します。「ただし、それには試験運用から評価、学習を経て、その後展開を拡大するというサイクルをたどることになります。マイクロソフトは、この道のり全体を通じてお客様に寄り添い、多くのことを学んでいます」

最新のアップデートでは、マイクロソフトの Dynamics 365 Mixed Reality アプリケーションのうち、2つの主要なアプリを統合するという、お客様から最も要望の多かった点を実現しています。統合したアプリのひとつは Dynamics 365 Guides で、ホログラムにて指示をステップごとに示すアプリです。もう1つは、HoloLens 2 ユーザーに最も支持されている Dynamics 365 Remote Assist です。

冒頭でご紹介したニュージャージー州の作業員がドアエッジプロテクターに関して遠方から指示を受けられたのは、Remote Assist の機能があってこそのことでした。Remote Assist により、現場の作業員は同僚をバーチャルで物理空間に連れてくることができたのです。このように「私が見ているものを見てください」といったような状況において、お互いがどこにいるかは関係ありませんし、どのデバイスを使っても問題ありません。Teams の通話に対応するだけで、3D 空間に注釈をつけ、現場の作業員が見ているものを拡張表示できるのです。アプリの統合は、2016 年に初代 HoloLens が登場して以来、マイクロソフトにフィードバックを提供してきたToyotaが、優先度の高い要望として出していたものでした。クライナー氏は、アップデートされた Dynamics 365 Guides のエクスペリエンスはより優れたものになっていると述べています。

「HoloLens を手に取って Guides のセッションを開始すると、指導員が文字通り頭の中に現れます」とクライナー氏。「助けが必要な時は、アプリから直接エキスパートを呼び出すこともできます」

Toyota からのフィードバックにより、Guides のエクスペリエンスは他の部分も改善されました。例えば、これまで技術者は車のボンネットに QR コードを貼り付けてスキャンし、ホログラムの指示に従っていましたが、作業員が車を移動させるとホログラフィックが流れているように見えることがありました。

そこで Toyota はマイクロソフトと協力し、「オブジェクト理解 (object understanding)」を開発しました。これにより、Toyota の技術者は車全体をスキャンし、ホログラムを所定の位置に固定できるようになり、視差の問題が解消されました。ボルトを指しているホログラムは、見ている人の角度に関係なく、常に正確な位置を示すようになったのです。

Guides のオーサリング体験は年々向上しており、ホログラフィックでの指示の作成が、PowerPoint の作成と同じくらい簡単にできるようになったとクライナー氏は話します。

「ホログラフィックの構築に大勢のコンサルタントを雇う必要はありません。コンピュータサイエンスの学位を持った人を集める必要もないのです。現場のエキスパートに依頼するだけで、彼らが自ら独自コンテンツを作り、他の人を訓練したりコンテンツを共有したりしています」(クライナー氏)

クライナー氏によると、Toyota ではトレーニングツールとしての Guides にすぐに価値を見出すことができたとしています。Guides があることで、トヨタの指導員は受講者と 1 対 1 で向き合う必要がなく、受講者に自主的に作業させることが可能です。しかも複数の受講者を同時に監督できるため、効率が何倍にも高まります。

Toyotaはサンアントニオ工場での試験運用プロジェクトにて、HoloLens 2 と Guides を活用したトレーニングを従業員に実施、Toyota Tundra の新型車の組み立て方法を教育しました。クライナー氏は、この取り組みが成功したことはデータが示していると語ります。というのも、不具合が半減したほか、個人差はあるもののトレーニング時間が 20～50％削減できたというのです。

Mixed Reality分野のパートナー

HoloLens 2 は産業用メタバースで何ができるかを定義しましたが、マイクロソフトはプラットフォーム企業だとテイラーは語ります。だからこそマイクロソフトでは、お客様が HoloLens 2 を使っていても、他社のデバイスを使っていても、場所を問わず当社のMixed Realityソフトウェアを使えるようにしようと取り組んでいるのです。

Dynamics 365 Mixed Reality アプリでは、お客様がすぐにでも仕事を始められるよう、エンタープライズクラスのソフトウェアを提供していますが、マイクロソフトは ISVのMixed Realityパートナーネットワークを構築し、ISV にもソリューションを拡張して建設や教育、医療、製薬などさまざまな業界特有のニーズを満たしていただきたいと考えています。

こうしたパートナーのうち 1 社に目をつけたのが、トレンチ掘削作業時の安全性を高めようとしている労働安全衛生局 (OSHA) です。建設現場における溝堀りや掘削は、危険を伴うものの不可欠な作業です。OSHA によると、1 立方ヤードの土は車 1 台分ほどの重さがあり、重力との微妙なバランスが一瞬で崩れることもあるといいます。建設業界ではトレンチ (溝) の崩落が主な死因となっているのもそのためです。

この危険を軽減しようと、OSHA の指導員はカスタム複合現実アプリを利用して、トレンチ安全検査員に対し実世界での危険を伴わない没入型の実践的危険訓練を実施しています。ソフトウェア会社の Clirio が構築したこのアプリは、リアルで没入感のあるグラフィックを使った 6つの異なるシーンで構成され、地面の状態や危険物、安全装置、リスク軽減に向けたベストプラクティスなど、さまざまな様子が確認できるようになっています。また、洗練されたサウンド設計やアニメーションにより、実際の体験により近い感覚が得られます。

OSHA Training Institute のディレクター、アンソニートウェイ (Anthony Towey) 氏は、「人に何かを教える時、伝えることと、見せること、そして自らやってもらうことはすべて別のことです」と話します。「(アプリを使うと) 実際にトレンチや掘削の環境に入ることができ、現場にいるのとかなり近い状況が再現できます」

トウェイ氏は、何千人もの建設請負業者がこのトレーニングを活用できるだろうと付け加えます。「そうすれば、安全な環境でトレーニングを実施できます。そこでは練習もミスをすることだってできるのです」

北海道電力株式会社は、火力発電所の主要機器の点検でスタッフを支援するために、HoloLens 2、Mixed Reality (複合現実) アプリの Dynamics 365 Remote Assist、そして、カスタムアプリを使用しています。「巡視点検では、作業員が、迷路のように張り巡らされたボイラー、タービン、発電機等、様々な設備の間を進み、トラブルの未然防止のために数千もの機器を調べて微細な変化を調べるため、豊富な経験とノウハウが必要です」と火力情報技術グループの梅本天流氏は述べています。そのため、新入社員がすべての点検業務をこなせるようになるには、ベテラン技術者の摸倣を 1 年間ほど行う必要がありました。

梅本氏によると、現在では新入社員はアプリを使うことでより速く技術を学ぶことができ、巡視点検の効率も向上しているとのことです。この経験から、北海道電力は MR テクノロジを高く評価し、支持するようになったとも話しています。

「MR はゲームのための技術というイメージがありましたが、巡視点検技術の継承という目的にも、直感的でわかりやすいソリューションとして活用できることがわかり、驚きました」と梅本氏は述べています。

HoloLens 2, Microsoft Dynamics 365 Remote Assistとカスタムアプリが、北海道電力の作業員による火力発電所の主要機器の点検を支援しています。 — HoloLens 2, Microsoft Dynamics 365 Remote Assist とカスタムアプリが、北海道電力の作業員による火力発電所の主要機器の点検を支援しています。

誰もが意見を言えるように

HoloLens 2 のお客様による試験運用の規模が拡大する中で、マイクロソフトはクラウド関連技術の大規模な管理を容易にしようと多大な投資を行ってきました。その結果、IT 部門は HoloLens 2 ヘッドセットを、ノート PC や携帯電話、タブレットと同じように管理できることになるとエバンズは述べています。

こうして改善が進んだことにより、Toyotaは HoloLens 2 を研究室から企業内へとシームレスに移行できたとクライナー氏は語ります。「一般的に研究室を離れると、大きな困難が待っているものです。企業レベルでどうやって維持し、運用するかは研究室ではわからないためです」とクライナー氏。「そういった困難はすべて回避できました。IT 部門にデバイスを持ち込むと、『あぁ、これはただの Windows マシンだね。扱い方はわかっているよ』と言われましたから」

マイクロソフトは引き続きお客様と協力し、独自の課題や困難な課題を解決していくとエバンズは語ります。

エバンズによると、ソフトウェアとハードウェア双方の改善に取り組む米陸軍のようなお客様もいれば、最終的に幅広く適用されるであろう業界特有の改善を推進しているお客様もいると言います。これは、セラミックブレーキや可変バルブタイミングなどの技術がまず F1で登場し、最終的にはレース場から一般的な道路にも使われるようになったことと似ています。

「軍事プログラムには、兵士のニーズに合うよう調整した独自の要件があり、それがプラットフォーム全体を前進させています。アーリーアダプターが要件を推進するのはすばらしいことだと思います。それがトリクルダウン効果につながるためです」とエバンズは述べています。

マイクロソフトがお客様から聞いたこととしてエバンズが語っているのは、常に新しいガジェットが登場することを期待している消費者とは異なり、企業は 2 年ごとにデバイスを交換しなければならないような状況は望んでいないということです。そのような状況では混乱が起きてしまいます。「新製品の性能が 10％良くなったとしても、それだけでは (自社で使っているものが) 古くなったとは感じないものです。まだ後継機が必要だとは思っておらず、適切なタイミングで後継機が登場してくれればいいと考えているのです」

エバンズは、マイクロソフトではディスプレイやトラッキング技術、センサー、バッテリー持続時間など、あらゆるコアなハードウェアテクノロジを推進していると語ります。「有意義なアップデートとなるよう、適切な設計ポイントを模索しています。お客様はより高い投資対効果を実現する後継デバイスを求めていますから」とエバンズは述べています。

HoloLens のハードウェアとソフトウェアは進化を続けており、Toyota のクライナー氏は今後も Guides が現場で働く人たちにとって「最高のMixed Reality アプリ」であり続けるだろうと見ています。いつかは Guides が Word のようにあらゆるデバイスで利用できるようになる日が来るかもしれませんが、今のところは Toyota も HoloLens 2 ヘッドセットの展開を継続し、このツールによって現場の作業員が新たな方法で働き、コラボレーションできるよう推進しています。

クライナー氏は、「ようやくあらゆる人に展開できるデバイスが手に入りました」と語ります。「メンテナンスも簡単ですし、社員が肩書や部門構造に関係なく大規模な会話に参加できるようになりました。誰もが意見を言えるようになったのです」