Microsoft Expressive Pixels: クリエイティブ、包括的、そしてイノベーティブなプラットフォーム

著者: Athima Chansanchai

※ 本ブログは、米国時間 9 月 3 日に公開された “Microsoft Expressive Pixels: a platform for creativity, inclusion and innovation” の抄訳です。

あなたは自宅の PC の前に座り、リモートワークの途中だとします。同様に、あなたのパートナーや家族も同じ家でリモートワーク中だとします。

あなたの近くに置かれている LED ディスプレイには、“STOP” のサインが浮かび上がっています。この LED ディスプレイのおかげで、あなたは作業を中断することなく、今自分は忙しいということを周囲に伝えることができるのです。

ほら、家族がそのサインに気づいたので、あなたは一言も言葉を発することなく「今は忙しい」という情報を伝えることができたわけです。

マイクロソフトストアに新しく登場した無料の Windows 10 オーサリング プラットフォーム アプリの Expressive Pixels にはこうした機能の他にも、様々なアニメーションを作成する能力が備わっています。アプリ本体に加え、一般的なファームウェアのソースコードも用意されており、それらを活用することでユーザーの所有している LED ディスプレイデバイスにアニメーションや絵文字を表示させることができるようになります。

Expressive Pixels は非言語コミュニケーションの幅を大きく広げ、オープンソース API を通して開発者にクリエイティブなアプリの開発をうながし、意欲的なプログラマー、デザイナー、そして研究者たちの参入までのハードルを大きく下げる結果を生み出してくれます。

また、アニメーションの描画や実行を代わりに行ってくれる専用のライブラリを搭載したことで、小さなデバイスでのアニメーションを行うための手間やプログラミングを省略し、アマチュアクリエイター、そしてより造詣の深いプログラマーであっても、Expressive Pixels は全く新しいクリエイションを行うための力強いプラットフォームとして活躍します。

どのような場所で働き、学び、つながりあっていたとしても、Expressive Pixels は写真やアクセサリなどと同様にあなたの周囲環境をより自分好みに変える手助けをし、アニメーションを通してより豊かな表現を生み出してくれます。

「私たちはいつもその日その日を乗り超えることを重視しがちですが、人の営みで最も重要な要素は感情なのです」とマイクロソフトの中小企業・法人向けビジネス部門で戦略とプロジェクトのゼネラルマネージャーを務める Bernice You は述べています。Bernice は Expressive Pixels プロジェクトチームに所属しており、2019 年にリリースされ、言語や移動障碍をもった人々のアクセシビリティを高める目的で開発された Windows 10 Eye Control を中心に据えてデザインされた Eyes First ゲームシリーズの完成にも大きく貢献してきました。「生産性が高まるのは良いことです。しかしながら、同時に人間的で居続けることもとても大事なのです。この領域は、これまであまり注目されてきませんでした」と彼女は言います。

Expressive Pixels プロジェクトではマイクロソフトの Enable Group と重度の言語や移動に障碍のある方々との長年にわたる非常に有意義なコラボレーションの成果が反映されており、彼ら独自の視点、ニーズ、そして問題点を理解することで彼らのコミュニケーション、クリエイティブな表現、アイデンティティ、そして人と人とのつながりを持とうとする際にもちいられる伝統的な AAC (拡大・代替コミュニケーション) デバイス ※ に斬新な工夫を加えることで、非言語コミュニケーション、個人的でクリエイティブな表現、社会的キューやデバイスの状態などを活用した画期的な表現の手法を生み出しています。

Expressive Pixel のデザイン

「私たちの試みはとても重要な何かを生み出すきっかけにも、クリエイティブで楽しい、全く新しい自己表現のきっかけにもなり得ます」とマイクロソフトのクラウド・AI グループ内の AI フレームワークチームのエンジニアリングマネージャを務める Harish Kulkarni は述べています。Harish は Enable Group の元チームメンバーであり、在籍していた数年間には Windows 10 上の Eye Control 機能を率いていました。

チームはこのプロジェクトがリリースに至るまで、数々の意図しないイノベーションを生み出しながら、広い視野とテクノロジが人々に与えられる価値の大きさに突き動かされるままに、様々な障害に対して果敢に取り組んできました。

光の強さや物体までの距離といった、環境によって様々な条件下でも確実に情報を伝えられるフォームファクタをチームが求めたとき、彼らがたどり着いたのが Sparkfun、Adafruit、そして Expressive Pixels チーム所属のエンジニアである Gavin Jancke の発明した解像度、接続性、ストレージ量、描画能力といった点を押さえた自家製のオールインワンデバイス SiliconSquared Displays といった LED ディスプレイたちでした。Expressive Pixels はあくまでこうした LED ディスプレイでも表示が出来るというだけで、様々な用途で活用できます。メールにアニメーション付きの GIF を挿入したりなども、もちろん可能です。

次に乗り越えないとならなかったハードルは、LED ディスプレイに映すアニメーションを簡単にレンダリングできるようにするためのソフトウェアの開発でした。ここでも Gavin は能力を存分に活かし、快適な動作を行うための基礎となるファームウェアを開発しました。このファームウェアとオーサリングアプリ本体を組み合わせることで、様々なデバイスで利用できる Expressive Pixels プラットフォームが構築されました。ファームウェアに手を加えることで、メーカーたちは特定の要素に限定して利用し、拡張することができ、クリエイターたちはオリジナルのアニメーションをアプリについてくる Cloud Gallery に投稿することができます。

一日の仕事が終わった後からの隙間時間に黙々と開発を続けた Gavin の存在は Expressive Pixels の完成に絶対に欠かせなかったのです。

「コミュニケーションとはテキストや、お互いにかける言葉だけで形成されているわけではありません。様々な齟齬を埋めるように非言語コミュニケーションが発生しており、こうしたものから会話の順番などを含めた様々な情報を私たちは汲み取っています。」

– Harish Kulkarni

「何かに関わる時、私はいつも最高の結果を追い求めてしまうのです」と Microsoft Research エンジニアリングゼネラルマネージャーの Gavin は笑います。そのまま少し考えを反芻し、真剣な回答に辿り着いた彼はこう続けます。「私の生き甲斐は機会に恵まれていない人々やコミュニティが技術的な理由から実現しきれていない能力を、私のできる範囲で実現していくことなのです。」

Expressive Pixels に着手した 3 年の間に、既に多才だった Gavin は電気工学を含めた様々な分野へと果敢に挑戦し、次々とその成果をプロジェクトへと反映していきました。

プロジェクト完遂までの道すがら、Gavin はこれまで存在しなかった、より解像度の高い RGB 色の LED ディスプレイという製品カテゴリを開発しています。これに加えて、よりモビリティの高い体験を生み出すための無線化にも着手し、彼は Bluetooth テクノロジやスイッチを利用した MIDI 音声信号などの様々なメカニズムを使用してアニメーションの切り替わりを制御する手法を考え出し、実現していきました。

「コンフォートゾーン (安全地帯) から一歩足を踏み出したときに起きた、全く意図していなかった成果は実に興味深いものでした」と Gavin は開発を振り返ります。「予想もしていない見識や能力を、はからずとも習得してしまうのです。」

医療市場で取り扱われることが多く、コストも高かった AAC デバイスの改善を目標とした Enable Group によって Expressive Pixels は 5 年前から開発が進められてきました。

基礎動作のデザインを研究している Ann Paradiso は、人々に向けて力を尽くせる機会が無いかと模索をしていたところに Expressive Pixels と出会い、それ以降プロジェクトを率い、その推進に大きく貢献し続けてきました。元々、Enable Group に所属する前の Ann は Microsoft Research で Gavin のチームメンバーとして働いており、彼女の率いるプロジェクトが活発になるにつれて Gavin が Ann をより力強くサポートするようになるのは自然な流れでした。

2 人が協力体制を敷いた当初、密接に連携を取っていたのが ALS (筋萎縮性側索硬化症) と闘いながらも Expressive Pixels のはしりとなる取り組みに深く関わっていた元 NFL 選手の Steve Gleason でした。視線制御技術においては既に練達の域にいた Steve ですが、技術的なトラブルの対応を行う際には目線をスクリーンに集中させなければならず、会話の相手と十分なコミュニケーションが取れずにいたことに悩んでいました。

「視線を使ったコミュニケーションデバイスを利用している人たちと日常的にふれあっていると、一般的なものと比べて彼らとの会話のスピードは非常にゆっくりとしたものになりがちだと気づきます。最新の予測アルゴリズムや視線解析機能を搭載した AAC デバイスを介した会話だったとしても、最大でも通常の 5 から 10% のスピードで会話が進行することもあるのです」と Ann は説明します。「その結果、AAC デバイス利用者が返答を用意していたとしても、会話の相手がそれに気づけず、会話の間に慣れていないがために話題が移り変わってしまい、発話に障碍を持つ人たちは会話の流れから取り残されてしまうのです。」

こうしたきっかけをもとに、Ann は ALS と闘う人々 (PALS、友人の意)、そしてその家庭を中心とした研究に着手しました。彼女とその協力者たちは日常の端々を含め、神経科医、言語聴覚士、そして理学療法士との診察にも立会い、彼らの生活をつぶさに調べました。PALS の家を訪問し、時にはマイクロソフトにあるチームの研究ラボに彼らを招待することで生まれた信頼や結束のおかげで、チームは患者たちを取り巻く様々な支援システム、家庭環境、サポート用の器具、どういった取り組みが上手くいっていてどれが上手くいっていないのか、といった障碍者を取り巻く多くの情報を目の当たりにし、これら全てを生きた知識として取り込むことができました。

「絵文字はソーシャルメディア、メール、テキスト型の会話といったデジタルなコミュニケーションプラットフォームにおいて既に普遍的と言えます。絵文字を使うことで意図の疎通やコンテキストの明確化、会話トーンの決定が数少ない操作で実現できてしまうのです。絵文字一つでメッセージの意味を劇的に変え、増強することができるということがわかっている今、絵文字は表情を作れない人々や会話が困難な方々にとっての代替的な表現になりうると私たちは考えています」と Ann は言います。「PALS たちの内情をより深く知る機会をくださった協力者の皆さんは私が知る限りでも最も思慮深く、最もクリエイティブな方々でしたが、やはり障碍の影響で表現の幅が大きく制限されていることに加え、昨今の会話ツールや基礎テクノロジにも彼らが縛られていると感じました。AAC デバイスを利用している大半の方々が、無機質な会話ではなく、より上質な会話を行いたいと願っていることを私たちは認識しています。そういった願いに応えるために、会話の助けになり、暗い場所でも遠くからはっきりと認識でき、求められていたユニークな表現力、遊び心、そしてつながりを生み出す何かを創ろうと私たちは考えたのです。」

補助ディスプレイの選定に入ったチームは色々なタイプのディスプレイの検証を行いましたが、いずれの場合も最終的にはコストの問題、安定性、そして実際に動作している時の「クールさ」といった複数の理由から LED ディスプレイが最善であると判断するに至りました。チームの協力者であった PALS たちも、利用することでネガティブな社会的な影響を受けかねないツールの使用には否定的な姿勢を貫きました。

「ALS と闘う人たちと寄り添い、そうした人たちにこれまでは行えずに諦めるしかできなかった、全く新しい自己表現を行う手段を生み出す取り組みに関わっていると、もっと他にできることはないのかと感化されてしまいます」と Enable Group に 2017 年から参加しており、ユーザーエクスペリエンスやユーザーインターフェースの作成に特化している開発者の Dwayne Lamb は言います。「視線を使って会話を行っている方とコミュニケーションを取ろうとする際にありがちなことなのですが、彼らが視線を使ったコミュニケーションのためにキーボードやデバイスへの入力に没頭していると、マナー違反であるのは重々承知なのですがつい、彼らの背中越しに伝えようとしているメッセージを見ようとしてしまうのです。」

Expressive Pixels はこうした課題の解決を目指すために進化をしてきました。

Expressive Pixels を利用することで、最大 64 x 64 ピクセルのアニメーションを作成し、それを様々な大きさのディスプレイに写すことができるようになる、とハードウェア間の連携の溝を埋めるのに大きく貢献した Christopher O’Dowd は述べています。そして LED ディスプレイほどメーカーフェアやホリデーシーズンを祝う家屋などにおいて偏在的な製品はないと彼は指摘します。事実、LED ディスプレイは極めて万能なデバイスであり、旗やリュック、帽子、そして果てにはフェイスマスクといった布製品にも広く使用されています。

チームが LED ディスプレイを活用した一例として、SXSW で賞を取ったハンズフリーミュージックプロジェクトがあります。

そのプロジェクトではシアトル近辺に住む ALS と闘う音楽家のために、MIDI を介して動作し、音楽に呼応する形で点滅する LED 配列を視覚補助として搭載し、視線制御を用いて演奏できるドラムセットシステムを開発しました。2018 年に開催された SXSW のインタラクティブイノベーション賞の音楽とオーディオイノベーション部門賞に選ばれたこのプロジェクトは音楽のパフォーマンス、コラボレーション、そして作曲のために必要な様々な要素を斬新な視線制御アプリを介して行えるようになっています。

「発話や身体を動かすのが困難なミュージシャンはどのように演奏を行い、ステージを仕切り、観客とつながればいいのでしょうか? 他のミュージシャンとスタジオで、もしくは即興で演奏をする場合はどうすればいいのでしょうか? 障碍を持った学生たちが孤立や遠慮をせずに音楽プログラムに参加するためには、どのようなバリアフリーへの取り組みが必要なのでしょう? 私たちはこうした課題を掲げて動き出したのです」と Ann は回想します。「それぞれの個別のクリエイティブな目的、そしてより現実的なシナリオに沿うようにテクノロジやデザインを形作りたかったのです。」

MIDI 機能を搭載することで様々な楽器へ信号を送るという基礎的なアイデアは Dwayne が最初に提唱したもので、これが後になって Expressive Pixels へと引き継がれていきました。

「また別の目標に向かって取り組むたびに、私たちはプラットフォームを少しずつ進化させていきました」と Ann は言います。

Expressive Pixels プラットフォームは様々なクリエイターに対して門戸を開いています。メーカーコミュニティに加え、学生たちも Microsoft MakeCode を通して JavaScript を学びながらデザインを楽しむことができます。本来 MakeCode デバイスはごく少数の LED が搭載されていただけのものだったため、より大きな解像度のディスプレイデバイスを取り扱えるようになることは学生にとってより大きな選択の幅を与えることにつながり、SiliconSquared ディスプレイのようなものを MakeCode ガジェットにつなぐことでより複雑な実験やプログラムの開発を行うことができるようになると Gavin は言います。

「学生たちは Expressive Pixels のオーサリングアプリで作成したアニメーションを MakeCode プログラムやハードウェアに簡単に統合することができます」と Gavin は言います。

そして、アプリ本体が個別のデバイスにどのようなアニメーションが格納されているかを認識しているため、様々なコマンドを送ることでそれぞれに対して特定の反応を引き出せるようになります。

こうした Enable プロジェクトに加えた複数の取り組みを通して、Ann はマイクロソフトで働くことへの熱意を 20 年越しに改めて感じています。

「これだけの多様な人々が空いた時間を見つけては集まり、より大きな取り組みの礎を築いているという事実は非常に良い刺激になっています。こうしたマイクロソフトの企業としての理念や使命がいかに大切に根付いているのかを実感する機会を通して、より包括的でクリエイティブな未来が創られていくのはとても喜ばしいことです」と彼女はコメントしています。

さらに詳しい情報は Expressive Pixels 専用のウェブサイトで

※ AAC コミュニケーションとは、話すことなどに障碍のある方が、その機能を拡張するなど別の方法を活用して行うコミュニケーションのこと。AAC コミュニケーションデバイスは、そのコミュニケーションを行うための機器としての会話補助装置、視線制御装置などを指します。

—

本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。