日本マイクロソフト株式会社は、トヨタ自動車株式会社 (以下 トヨタ) が、Mixed Reality (複合現実、以下 MR) デバイスである HoloLens 2 を、2020 年 10 月より全国の GR Garage 56 店舗に順次導入し、自動車の整備作業の効率化やトレーニングで活用を開始されたことを発表します。
トヨタでは、2019 年 5 月に自動車の修理・点検業務における MR および HoloLens 2 の活用に向けた検証実施を発表していましたが、本取り組みが発展し、今回の全国の GR Garage での導入に至りました。
現場のサービスエンジニア (整備士) が自動車の修理、整備作業を行う際に参照するサービス技術情報 (修理書、配線図等) は、イラストや文字などの 2D データが主に使われているため、実車での正確な位置や、勘やコツなどの情報を伝えるのが難しいことに加えて、CASE などの複雑化多様化する情報への対応において課題がありました。そこで、トヨタは、最新の Mixed Reality テクノロジと 3D データの活用により、効率的で正確な作業を支援できないか、検証を進めてきました。
今回 GR Garage では、以下の 4 つの機能が活用されます。
- MR を用いた配線図・艤装図 (GR ヤリス、C-HR、プリウスの 3 車種）
- MR を用いた新型車機能解説 (GR ヤリス)
- 作業手順ガイド・トレーニング
- 遠隔地とのコミュニケーション支援
(注: 以下、画像は開発中のものです)
MR を用いた配線図・艤装図
従来の 2D のマニュアルでは解りづらかった部品やコネクタの配置などの配線や艤装に関する情報を、3D で実車に重ね合わせて表示することで、正確な位置を直感的に理解できます。
 |
 |
また、品番や品名、回路図などの必要な情報を一括的に表示し、正確で効率的な作業ができるよう支援します。
MR を用いた新型車機能解説
自動車の複雑な機能や、通常は目には見えない空力の様子などを、3D ホログラムとして車体に重ね合わせて表示し、稼働状態などをアニメーションで確認できることから、整備士は車両を見ながら、より分かりやすく楽しく直感的に学習できます。また詳細な解説機能ナレーション等を使った自己学習もできます。
上記の、MR 配線図・艤装図と MR 新型車機能解説では、Microsoft Azure の新サービス Azure Object Anchors が利用されています。従来はホログラム表示の位置を特定するために QR コードなどのマーカーや手動による位置合わせが必要でしたが、この Azure Object Anchors を用いることで、実空間の車両の位置を自動検出し、ホログラムをその車両に重ね合わせた位置で正確に表示できます。
「マーカーをお客様の車に貼り付けると、傷や汚れが付く可能性があるため、車両の位置を特定して 3D モデルを配置することが必須条件でした。Object Anchors を使うことで、誰でも簡単に、3D モデルを車両に合わせて自動的に表示することが可能になります。マイクロソフトと先行的な技術開発を行い、今回初めて実現できました。」
トヨタ自動車 サービス技術部 主幹 栢野 浩一氏
Azure Object Anchors の詳細はこちらを参照ください。
作業手順ガイド・トレーニング
自動車のパーツや用品の取り付け手順を、3D ホログラムを用いて、自動車に重ね合わせて表示することで、トレーニングや実際の作業時の作業ガイドとして使用できます。こちらは、汎用的な Microsoft Dynamics 365 Guides が活用されており、プログラミングが不要なため、販売店でも独自の教材を容易に作成できます。
遠隔地とのコミュニケーション支援
トヨタの販売店では Microsoft Teams が活用され始めています。オフィスで PC を使って働く従業員と現場の整備士とのコミュニケーション促進のため、HoloLens 2 に Microsoft Dynamics 365 Remote Assist が導入されました。現場の整備士は HoloLens 2 を装着することで、自身の視点の映像を、遠隔地にいる販売店本社のエキスパートの Microsoft Teams 上にリアルタイムに表示し、会話できます。矢印やインクなどのアノテーション機能によって現実の空間内に書き込みもできるため、隣にいるかのような具体的な指示やコミュニケーションが可能です。
作業手順ガイド・トレーニングおよび、遠隔地とのコミュニケーションは、とくに現在の新型コロナウィルス感染症の状況下において有用な機能です。集合研修や人の移動が難しい時でも、3 密を避けた自己学習を実現し、また現場の視線を遠隔地と共有することでその場にいるかのようなコミュニケーションとサポートが可能となります。
全国の GR Garage への Mixed Reality の展開に際して、100 台に上る HoloLens 2 の OS 設定、アプリ配信、アクセス権などの細かな設定やその状況把握を行う必要があります。トヨタでは、クラウド上で各種デバイスの運用管理が可能となる Microsoft Endpoint Manager を活用することで、運用工数を大幅に削減しています。
日本マイクロソフトでは、Mixed Reality、HoloLens 2 および Dynamics 365 Remote Assist、Guides などのテクノロジを通して、より多くのお客様におけるデジタルトランスフォーメーションの推進に貢献してまいります。
—
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
