[ブログ投稿日：2017年11月17日]
Posted by：アリソン リン（Allison Linn）
最近、Microsoft Research Maluuba のサミラ エブラヒミ カホウ (Samira Ebrahimi Kahou)と彼女の同僚たちが興味深い研究課題、すなわち、「人工知能が円グラフなどのグラフ内の情報を正確に推定できるようにするにはどうすればよいか」という問題の解決策を考案しました。
ここで、カホウたちが直面した問題の一つはこの研究分野がきわめて新しいため、仮説を検証するためのデータセットが存在しないということでした。
そこで、カホウたちはそのデータセットを作ることにしました。
今秋にカホウのチームが一般公開した FigureQA データセットは、近日マイクロソフトの研究者とエンジニアが開発して一般公開した、AI システムのテストのためのデータセットや測定基準などの多数のツールの一つです。世界中の研究者が、会話の翻訳や人が次にタイプする単語の予測などの多様なことを自分の AI システムがどれほど適切に実行できているかを評価するためにこれらのデータセットを活用しています。
このツールにより、学術界の研究者や産業界の専門家といったあらゆる人々が自分のシステムをテストし、他者と比較し、お互いから学ぶためのコード化された情報が提供されるとチームは述べています。
マイクロソフトの Bing 部門パートナーグループプログラムマネージャーであるランガン マジュムダー （Rangan Majumder） は「これにより私たちの目標を明確にでき、さらに、リサーチコミュニティに対して進む方向を示すことができます」と述べています。ランガンは、マシンリーディング読解力データセット MS MARCO の開発も統率しており、公開から 1 年を経過したこのデータセットは年末までにアップデートが提供される予定です。
テクノロジ業界の伝統的なやり方に慣れた人にとってはこのような情報の共有は驚くべきものかもしれません。しかし、学術界と産業界のプレイヤーが相互に深く関連する AI の分野では、このようなオープン性がますます一般的になっていると研究者たちは述べています。
「従来、企業は社内に閉じた形で研究を行なっていました。今日では、ほとんどの企業が論文を出版し、特定の企業内ではなく業界全体の技術水準を高めようとしています」とモントリオールに拠点を置くマイクロソフトの Maluuba 研究所のプログラムマネージャーであり、過去に NewsQA と Frames というデータセットを公開しているラフール メーロトラ (Rahul Mehrotra) は述べています。
多くの AI 専門家が、このようなコラボレーションの文化が AI 分野の進展に重要であると述べています。この分野の初期のブレークスルーの多くは競合する研究機関の研究者が知識を共有し、他者の成果を活用したことから生まれています。
Microsoft Translator 開発チームのシニアプログラムマネージャーのクリスチアン フェダーマン (Christian Federmann) は「世界中のすべてのアイデアを知ることはできません。そこで、誰かがすばらしいアイデアを持っていてそれを試したがっている時には、データセットを提供できます」と述べています。
フェダーマンのチームは Microsoft Speech Language Translation Corpus を開発し、自身のチームや他のチームが Microsoft Translator ライブフィーチャーや Skype Translator などのバイリンガルの音声翻訳システムをテストできるようにしました。最近、このコーパスには言語ペアを追加するアップデートが行なわれました。
また、フェダーマンは、産業界が研究成果を比較できるようにするための高品質のツールとデータセットを構築できる予算とリソースを持った少数のビッグプレイヤーのうちの1社がマイクロソフトである点を強調します。
これは、人々が自分の研究成果を信頼できる形で示せる基準を作るために重要です。たとえば、最近達成された対話における音声認識のマイルストーンは Switchboard コーパスに基づいた結果です。
恩返しをする
データセットや測定基準を開発しているチームの多くは、他者が作成したデータセットにも依存していることから、一種の恩返しをしていると述べています。
Maluuba が小規模なスタートアップ企業であった時には、MCTest というマイクロソフトのデータセットに大きく依存していたとメーロトラは述べています。現在、マイクロソフトの一部となったことで、同社が作成したデータが他の研究者によって利用されるようになったのは喜ばしいことです。
ジョージア工科大学の助教授であり、Facebook AI Research の研究者であるデバイ パリク (Devi Parikh) は、Maluuba が最近公開した FigureQA データセットは、複数タイプの AI を必要とする問題に彼女自身のような研究者を対応可能にしてくれるため、きわめて有用であると述べています。グラフを正確に読み取り、質問に回答するためには、コンピュータービジョンと自然言語処理の両方が必要になります。
「研究者としての視点で言えば、AI の複数分野が交差する領域で問題を解決することへの関心がますます高まっています」とパリク教授は述べます。
それでも、AI 分野の研究者やエンジニアには、共有することが重要であるという情報もある一方で、競合する研究者が使用するデータに関する情報を公開することなくシステムの比較を行ないたい時があると言う者もいます。
マイクロソフトが昨年買収した SwiftKey のシニアソフトウェアエンジアリングリードのダグ オーア (Doug Orr) は、人が次にタイプする文字の予測をシステムがどの程度適切に行なっているかを評価する標準的方法を彼のチームが構築したがっていたと述べています。この機能は、人のコミュニケーションスタイルに基づいてパーソナライズされた予測を行なう SwiftKey のシステムの主要構成要素です。
チームはデータセットをシェアーするのではなく、研究者が任意のデータセットで使用できる測定基準を作成しました。GitHub で公開されている評価基準により、研究者は独自のデータをシェアーすることなく自分の改善を測定し、他者の結果と比較することができます。
オーアは、システムが長期的にどれほど進化しているかを正確に把握でき、研究分野の誰もが他者と比較した自分の位置を適切に把握できるようになる点で、測定基準は社内的に恩恵をもたらしていると述べています。
Bing チーム出身のマジュムダーは、一般公開を行なわない内部向けデータ、一般公開のために構築したデータセット、そして、SQuAD データセット などの他者が作成したデータセットというすべての基準データを使用してシステムをテストできる点に価値を認めています。
他の部署から要員がこのチームに参加する時、チームは製品を開発しながら AI 研究のブレークスルーも達成するというハイブリッドな領域に参加しているという事実に慣れなければいけないことが多いと彼は述べます。
「（AI の領域で）私たちが行なっているのは工学と科学の中間にあるものです」と彼は述べます。
ｰｰｰ
Related:
• Microsoft is teaching systems to read, answer and even ask questions
• Divide and conquer: How Microsoft researchers used AI to conquer Ms. Pac-Man
• AI is getting smarter; Microsoft researchers want to ensure it’s also getting more accurate
• Microsoft acquires SwiftKey in support of its reinventing productivity ambition
Allison Linn is a senior writer at Microsoft. Follow her on Twitter.
ｰｰｰ
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
