「私たちはいつもその日その日を乗り超えることを重視しがちですが、人の営みで最も重要な要素は感情なのです」とマイクロソフトの中小企業・法人向けビジネス部門で戦略とプロジェクトのゼネラルマネージャーを務める Bernice You は述べています。Bernice は Expressive Pixels プロジェクトチームに所属しており、2019 年にリリースされ、言語や移動障碍をもった人々のアクセシビリティを高める目的で開発された Windows 10 Eye Control を中心に据えてデザインされた Eyes First ゲームシリーズの完成にも大きく貢献してきました。「生産性が高まるのは良いことです。しかしながら、同時に人間的で居続けることもとても大事なのです。この領域は、これまであまり注目されてきませんでした」と彼女は言います。
「私たちの試みはとても重要な何かを生み出すきっかけにも、クリエイティブで楽しい、全く新しい自己表現のきっかけにもなり得ます」とマイクロソフトのクラウド・AI グループ内の AI フレームワークチームのエンジニアリングマネージャを務める Harish Kulkarni は述べています。Harish は Enable Group の元チームメンバーであり、在籍していた数年間には Windows 10 上の Eye Control 機能を率いていました。
「何かに関わる時、私はいつも最高の結果を追い求めてしまうのです」と Microsoft Research エンジニアリングゼネラルマネージャーの Gavin は笑います。そのまま少し考えを反芻し、真剣な回答に辿り着いた彼はこう続けます。「私の生き甲斐は機会に恵まれていない人々やコミュニティが技術的な理由から実現しきれていない能力を、私のできる範囲で実現していくことなのです。」
プロジェクト完遂までの道すがら、Gavin はこれまで存在しなかった、より解像度の高い RGB 色の LED ディスプレイという製品カテゴリを開発しています。これに加えて、よりモビリティの高い体験を生み出すための無線化にも着手し、彼は Bluetooth テクノロジやスイッチを利用した MIDI 音声信号などの様々なメカニズムを使用してアニメーションの切り替わりを制御する手法を考え出し、実現していきました。
Microsoft Teams 絆モードで撮影された Expressive Pixels チーム。最上段 (左から) Ann Paradiso、Bernice You。次の段 (左から) Noelle Sophy、Gavin Jancke、Jarnail Chudge。次々段 (左から) Dwayne Lamb、Stacie Stutz。最下段に Christopher O’Dowd。
GIF には様々な LED ディスプレイに瞬きする瞳の映像が様々なメーカーのデバイス上でも Expressive Pixels は動作する
基礎動作のデザインを研究している Ann Paradiso は、人々に向けて力を尽くせる機会が無いかと模索をしていたところに Expressive Pixels と出会い、それ以降プロジェクトを率い、その推進に大きく貢献し続けてきました。元々、Enable Group に所属する前の Ann は Microsoft Research で Gavin のチームメンバーとして働いており、彼女の率いるプロジェクトが活発になるにつれて Gavin が Ann をより力強くサポートするようになるのは自然な流れでした。
2 人が協力体制を敷いた当初、密接に連携を取っていたのが ALS (筋萎縮性側索硬化症) と闘いながらも Expressive Pixels のはしりとなる取り組みに深く関わっていた元 NFL 選手の Steve Gleason でした。視線制御技術においては既に練達の域にいた Steve ですが、技術的なトラブルの対応を行う際には目線をスクリーンに集中させなければならず、会話の相手と十分なコミュニケーションが取れずにいたことに悩んでいました。
「視線を使ったコミュニケーションデバイスを利用している人たちと日常的にふれあっていると、一般的なものと比べて彼らとの会話のスピードは非常にゆっくりとしたものになりがちだと気づきます。最新の予測アルゴリズムや視線解析機能を搭載した AAC デバイスを介した会話だったとしても、最大でも通常の 5 から 10% のスピードで会話が進行することもあるのです」と Ann は説明します。「その結果、AAC デバイス利用者が返答を用意していたとしても、会話の相手がそれに気づけず、会話の間に慣れていないがために話題が移り変わってしまい、発話に障碍を持つ人たちは会話の流れから取り残されてしまうのです。」
こうしたきっかけをもとに、Ann は ALS と闘う人々 (PALS、友人の意)、そしてその家庭を中心とした研究に着手しました。彼女とその協力者たちは日常の端々を含め、神経科医、言語聴覚士、そして理学療法士との診察にも立会い、彼らの生活をつぶさに調べました。PALS の家を訪問し、時にはマイクロソフトにあるチームの研究ラボに彼らを招待することで生まれた信頼や結束のおかげで、チームは患者たちを取り巻く様々な支援システム、家庭環境、サポート用の器具、どういった取り組みが上手くいっていてどれが上手くいっていないのか、といった障碍者を取り巻く多くの情報を目の当たりにし、これら全てを生きた知識として取り込むことができました。
「絵文字はソーシャルメディア、メール、テキスト型の会話といったデジタルなコミュニケーションプラットフォームにおいて既に普遍的と言えます。絵文字を使うことで意図の疎通やコンテキストの明確化、会話トーンの決定が数少ない操作で実現できてしまうのです。絵文字一つでメッセージの意味を劇的に変え、増強することができるということがわかっている今、絵文字は表情を作れない人々や会話が困難な方々にとっての代替的な表現になりうると私たちは考えています」と Ann は言います。「PALS たちの内情をより深く知る機会をくださった協力者の皆さんは私が知る限りでも最も思慮深く、最もクリエイティブな方々でしたが、やはり障碍の影響で表現の幅が大きく制限されていることに加え、昨今の会話ツールや基礎テクノロジにも彼らが縛られていると感じました。AAC デバイスを利用している大半の方々が、無機質な会話ではなく、より上質な会話を行いたいと願っていることを私たちは認識しています。そういった願いに応えるために、会話の助けになり、暗い場所でも遠くからはっきりと認識でき、求められていたユニークな表現力、遊び心、そしてつながりを生み出す何かを創ろうと私たちは考えたのです。」
補助ディスプレイの選定に入ったチームは色々なタイプのディスプレイの検証を行いましたが、いずれの場合も最終的にはコストの問題、安定性、そして実際に動作している時の「クールさ」といった複数の理由から LED ディスプレイが最善であると判断するに至りました。チームの協力者であった PALS たちも、利用することでネガティブな社会的な影響を受けかねないツールの使用には否定的な姿勢を貫きました。
「ALS と闘う人たちと寄り添い、そうした人たちにこれまでは行えずに諦めるしかできなかった、全く新しい自己表現を行う手段を生み出す取り組みに関わっていると、もっと他にできることはないのかと感化されてしまいます」と Enable Group に 2017 年から参加しており、ユーザーエクスペリエンスやユーザーインターフェースの作成に特化している開発者の Dwayne Lamb は言います。「視線を使って会話を行っている方とコミュニケーションを取ろうとする際にありがちなことなのですが、彼らが視線を使ったコミュニケーションのためにキーボードやデバイスへの入力に没頭していると、マナー違反であるのは重々承知なのですがつい、彼らの背中越しに伝えようとしているメッセージを見ようとしてしまうのです。」
Expressive Pixels はこうした課題の解決を目指すために進化をしてきました。
Expressive Pixels アプリ内の絵文字
Expressive Pixels を利用することで、最大 64 x 64 ピクセルのアニメーションを作成し、それを様々な大きさのディスプレイに写すことができるようになる、とハードウェア間の連携の溝を埋めるのに大きく貢献した Christopher O’Dowd は述べています。そして LED ディスプレイほどメーカーフェアやホリデーシーズンを祝う家屋などにおいて偏在的な製品はないと彼は指摘します。事実、LED ディスプレイは極めて万能なデバイスであり、旗やリュック、帽子、そして果てにはフェイスマスクといった布製品にも広く使用されています。
そのプロジェクトではシアトル近辺に住む ALS と闘う音楽家のために、MIDI を介して動作し、音楽に呼応する形で点滅する LED 配列を視覚補助として搭載し、視線制御を用いて演奏できるドラムセットシステムを開発しました。2018 年に開催された SXSW のインタラクティブイノベーション賞の音楽とオーディオイノベーション部門賞に選ばれたこのプロジェクトは音楽のパフォーマンス、コラボレーション、そして作曲のために必要な様々な要素を斬新な視線制御アプリを介して行えるようになっています。
「発話や身体を動かすのが困難なミュージシャンはどのように演奏を行い、ステージを仕切り、観客とつながればいいのでしょうか? 他のミュージシャンとスタジオで、もしくは即興で演奏をする場合はどうすればいいのでしょうか? 障碍を持った学生たちが孤立や遠慮をせずに音楽プログラムに参加するためには、どのようなバリアフリーへの取り組みが必要なのでしょう? 私たちはこうした課題を掲げて動き出したのです」と Ann は回想します。「それぞれの個別のクリエイティブな目的、そしてより現実的なシナリオに沿うようにテクノロジやデザインを形作りたかったのです。」