Mixed Reality と AI の活用により、専門医過疎地域に高水準で均てん化された医療を提供
日本マイクロソフト株式会社 (本社: 東京都港区、代表取締役 社長: 吉田 仁志、以下 日本マイクロソフト) は、次世代オンライン遠隔医療システムの開発・提供において、国立大学法人 長崎大学 (学長: 河野 茂、以下 長崎大学)、長崎県五島中央病院 (院長: 竹島 史直、以下 五島中央病院)、長崎県 (知事: 中村 法道)、五島市 (市長: 野口 市太郎) と連携協定を締結しました。5 者では、本連携における最初のプロジェクトとして、関節リウマチ患者を対象とした遠隔医療の実用化に向けて、Mixed Reality (複合現実) (注)を活用した国内初の次世代型オンライン遠隔医療システムとして、長崎大学関節リウマチ遠隔医療システム「NURAS」(ニューラス、Nagasaki University Rheumatoid Arthritis remote medical System) を開発し、本日より長崎大学病院 (長崎市) と五島中央病院 (福江島) において実証実験を開始しました。
今後 5 者では、本実証実験で得たノウハウ・経験を広く共有したり、他の疾患でも活用できるよう本システムを改良したりすることで、高水準で均てん化された医療や利便性の向上、また、患者の移動を減らすことによる、新型コロナウイルス感染症 (COVID-19) 等の感染症の拡大防止に貢献していきたいと考えています。
- 長崎大学関節リウマチ遠隔医療システム「NURAS」の概要:
NURAS は、専門医過疎地域である離島・へき地など遠隔地にいる患者が、Mixed Reality などの活用により、リウマチ専門医による遠隔医療を、これまでよりも高い精度で受けることが可能となるシステムです。従来のテレビ電話あるいは Web 会議システムを用いても遠隔医療は可能ですが、関節を中心とした病変部位を平面映像 (2D) だけで観察および類推することしかできず、関節リウマチ診療に不可欠である正確な関節評価を行うことは困難です。本システムでは、マイクロソフトの「Azure Kinect DK」を深度センサーとして患者の前に置き、Mixed Reality を実現するデバイス「Microsoft HoloLens 2」を専門医が装着、コラボレーションツールの「Microsoft Teams」を使ってビデオ会議を行うことで、平面映像だけでは評価が困難な病変部位を立体的 (3D) かつリアルタイムに観察・評価できるようにしました。
Azure Kinect DK は、被写体の立体的な動画を撮影できるカメラです。Azure Kinect DK を用いることで、医師が装着した HoloLens 2 に投影される 3D ホログラムを、高精度かつリアルタイムに生成できるほか、Azure Kinect DK に内蔵された 7 つのマイクロフォン アレイで、音源の方向を含めたクリアな音声を録音できます。また、厚生労働省、経済産業省、総務省が所管する “3 省 3 ガイドライン” に準拠しているクラウドプラットフォーム「Microsoft Azure」を通じて、撮影された患部の映像、および録音された患者と医師の会話などのデータはセキュアに処理されます。これにより離島・へき地といった専門医過疎地域においても高水準で均てん化されたリウマチ専門遠隔医療が可能になります。長崎大学関節リウマチ遠隔医療システム「NURAS」の活用イメージビデオを下記でご覧いただけます。
- 今後の展開:
本システムは、国内 60~100 万人と推定されている関節リウマチ患者のみならず、その他の神経疾患や運動器疾患など、患者と対話を行いながら病変部位の観察や運動評価が必要な分野にも応用できます。今回は長崎大学病院と五島中央病院をネットワークでつないで実証実験を行いますが、ネットワーク接続が可能なあらゆる地域と専門医を結ぶことができることから、国内外において、新型コロナウイルス感染症流行下における遠方通院時の感染リスクや通院に伴う人の移動の削減、さらに医療従事者の働き方改革にも貢献できると考えています。将来的には 5G による高速通信技術との連携や、現在はコロナ禍で難航している学生の実習を中心とした教育や研究を含む他分野への発展も予定しています。
また、2021 年 3 月下旬には、本システムに人工知能 (AI) を適用し、診察時の患者の表情の変化を素早く捉え自動的に患者の心情 (不安や満足度など) を評価する機能や、患者との対話を時系列に文章で記録する機能などを実装する予定です。Microsoft Azure の AI 機能である「Azure Cognitive Services」を活用することでセキュアかつ信頼性の高い推測と提案を行います。AI から得られたそれらのデータを参照し、物理的に離れた患者と医師との心理的な距離を縮めることによって、患者本人の生活の質の向上にも役立てられると期待しています。
本日実施した協定締結式の模様:
(注) Mixed Reality (複合現実)
3D グラフィックなどで作られた映像や画像 (ホログラム) を、現実世界に重ね合わせて表示することで、目の前に実物があるかのように見たり、動かしたりできる技術。ホログラムを拡大、縮小、回転、移動など操作できるため、実物大の 3D 模型を複数人の前に表示して議論したり、手順を確認しながら作業できたりすることから、製造、建設、教育、医療など様々な業種で活用されています。
参考:
・長崎大学大学院医歯薬学総合研究科 離島医療研究所
・長崎県五島中央病院
・Azure Kinect DK
・HoloLens 2
・Microsoft Teams
・Azure Cognitive Services
*Microsoft、HoloLens、Kinect、Azure、Microsoft Teams は、米国 Microsoft Corporation の米国およびその他の国における登録商標または商標です。
*その他、記載されている会社名、製品名は、各社の登録商標または商標です。
◇
マイクロソフトに関する詳細な情報は、下記マイクロソフト Web サイトを通じて入手できます。
日本マイクロソフト株式会社 Web サイト http://www.microsoft.com/ja-jp/
マイクロソフトコーポレーション Web サイト http://www.microsoft.com/
本プレスリリースのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。