ジェニファー ラングストン (Jennifer Langston)
※ このブログは、米国時間 5 月 19 日 に公開された ”Microsoft announces new supercomputer, lays out vision for future AI work” の抄訳です。
開発者向けコンファレンス Build において、マイクロソフトは、世界トップ 5 に入る規模のスーパーコンピューターを構築し、超大規模人工知能 (AI) モデルの訓練のために Azure 上でそのインフラストラクチャを公開したことを発表しました。
OpenAI との協業により構築されたこのスーパーコンピューターは Azure 上でホストされ、同社の AI モデルの訓練のために設計されています。これは、Azure 上で新たなスーパーコンピューティングのテクノロジを構築するという昨年発表されたパートナーシップにおける主要なマイルストーンです。
また、他の組織や開発者が利用できるプラットフォームとして訓練可能な、次世代の超大規模 AI モデルとインフラストラクチャの構築に向けた最初のステップでもあります。
マイクロソフトの CTO (最高技術責任者) ケビン スコット (Kevin Scott) は「これらのモデルの素晴らしい点は幅広い領域で応用できる点です。その潜在的価値は 1 つの AI モデル内の進化に留まるものではありません。自然言語処理やコンピュータービジョンの領域で非常に多くの素晴らしいことが同時に実現可能になることを意味します。これらの認識技術の組み合わせにより、今では想像もできないような新たな応用が可能になるでしょう」と述べています。
新たなタイプのマルチタスキング AI モデル
従来、機械学習の専門家は、言語の翻訳、物体の認識、メールの重要部分の把握、天気予報の質問に答えられるレベルの音声認識など、個別の作業のためにラベル付きのデータを使い個別の小規模な AI モデルを訓練してきました。
AI の研究コミュニティが開発した新たなクラスのモデルにより、これらの作業のうちのいくつかは単独の大規模なモデル、たとえば、公開されている数 10 億ページもの文書から学習するモデルによって適切に実現できることを明らかにしました。このようなモデルは、言語のニュアンス、文法、知識、概念、文脈理解に優れているため、長いスピーチのサマリー、ゲーム中継チャットのモデレーション、数 1,000 件もの法律文書の重要箇所の発見、さらには、GitHub の閲覧によるコードの生成といった複数の作業を効率的に処理できます。
マイクロソフトは、全社的取り組みである AI at Scale の一環として、自社独自の大規模 AI モデル Microsoft Turing を開発し、Bing、Office、Dynamics などのプロダクティビティ製品における様々な言語理解機能の向上に活用してきました。さらに、今年の初めには、公開されている中で最大級の AI 言語モデル Turing Natural Language Generation を研究者に向けて公開しました。
マイクロソフトによれば、ここでの目標は、大規模な AI モデル、学習最適化ツール、スーパーコンピューティングの計算リソースを Azure AI サービスと GitHub を通じて公開することにより、開発者、データサイエンティスト、ビジネスユーザーが AI at Scale (大規模 AI) の能力を活用できるようにすることにあります。
「今では、ほとんどの人々が、パーソナルコンピューターがプラットフォームであることを直観的に理解しています。パーソナルコンピューターを買って箱から出した時に、それが実行できることがすべて組み込まれているわけではありません。これは、まさに、AI がプラットフォームになりつつあるということと同じです。広範囲のデータにより多くのことができる汎用モデルを訓練し、そのモデルを数 100 万人の開発者が利用可能にすることで、創造的な用途を考案してもらうのです」とスコットは述べています。
大規模な AI モデルの学習には、高度なスーパーコンピューティングの基盤、すなわち、広帯域のネットワークで接続された最先端のハードウェアのクラスターが必要です。また、これらの相互接続されたコンピューターを横断してモデルを学習させるためのツールも必要です。
OpenAI によって開発されたスーパーコンピューターは、285,000 個以上の CPU コア、10,000 個の GPU 、そして、各 GPU サーバーを接続する毎秒 400 ギガビットのネットワークから成る単一のシステムです。マイクロソフトによれば、世界のスーパーコンピューターのトップ 500 の中で上位 5 位に入ります。Azure 上でホストされることで、このスーパーコンピューターは、迅速な開発、環境に配慮したデータセンター、Azure サービスへのアクセスといった今日の堅牢なクラウド基盤のあらゆる利点を享受できます。
OpenAI CEO のサム アルトマン (Sam Altman) 氏は次のように述べています。「必要なものに対する理解を深めるにつれ、そして、スーパーコンピューターを構成する要素の限界を知るにつれ、『夢のシステムを造れるとするなら、それはどのようなものになるか』と言うことができるようになりました。そして、マイクロソフトはそれを造ることができました。」
「OpenAI の目標は研究のブレークスルー達成だけではなく、実際に人々が使用できる強力な AI テクノロジを開発することにあります。マイクロソフトと共同開発したスーパーコンピューターはそのサイクルを加速するものです。強力なモデルの訓練を行なう上では大規模システムが重要な構成要素となります」と同氏は続けます。
AI 活用を目指してはいるが専用のスーパーコンピューターを必要としないお客様にとって、Azure AI は、スーパーコンピューターで利用されているのと同じ AI アクセラレータとネットワークへのアクセスを提供します。また、マイクロソフトは、これらのクラスター上で最適化された形で大規模な AI モデルの訓練を行なうためのツールも提供します。
マイクロソフトは、自社が開催した Build コンファレンスにおいて、Microsoft Turing モデルを Azure Machine Learning での学習手順と共にオープンソース化することを発表しました。これにより、開発者は、マイクロソフトが自社製品内での言語理解で活用してきたのと同じモデルにアクセスできるようになります。
また、マイクロソフトは、大規模な分散モデル学習において必要なコンピューティング能力を大幅に削減できる、PyTorch 向けの機械学習ライブラリ DeepSpeed の新バージョンも発表しました。このアップデートは、わずか 3 カ月前にリリースされたバージョンよりもはるかに効率的であり、同じインフラストラクチャ上で DeepSpeed を使わなかった場合と比較して 15 倍の規模のモデルを 10 倍高速に訓練することができます。
DeepSpeed の発表に併せて、マイクロソフトは、ONNX Runtime の分散学習のサポート追加も発表しました。ONNX Runtime は、モデルのハードウェアやオペレーティングシステムを横断したポータビリティを実現するためのオープンソースライブラリです。今まで ONNX Runtime は高性能の推論処理にフォーカスしてきましたが、本日の発表により、モデルの学習のサポート、および、DeepSpeed ライブラリの最適化のサポートが追加されました。これにより、現在の ONNX Runtime と比較して最大 17 倍の性能向上が実現されます。
マイクロソフトの主任プログラムマネージャーのフィル ウェイマウス (Phil Waymouth) は次のように述べています。「人々が容易に自分の仕事を完了できるよう支援するきわめて先進的な AI テクノロジを構築したいと考えています。この大規模なモデルは重要な推進要素になるでしょう。」
言葉のニュアンスを学習する
人間と同じように世界を理解できる AI モデルの設計は言語から始まります。言語は人間の意図を理解し、世界中の文書による膨大な知識を把握して、容易にコミュニケーションを行なうためにきわめて重要な要素です。
人間の脳の理解に関する研究から生まれたテクノロジであるニューラルネットワークに言語を理解させること自体は新しいものではありません。しかし、ディープラーニングのモデルは初期と比較して大幅に高度化しており、急速に規模を拡大しています。
1 年前時点で最大のモデルは 10 億個のパラメーターを使用していました。各パラメーターは脳のシナプスの接続にほぼ相当します。Turing Natural Language Generation は、170 億個のパラメーターを扱い、現時点で公表されている中で世界最大の言語処理 AI モデルです。
この新たなクラスのモデルの学習方法は、従来の教師付き学習モデルとは異なります。従来は、人間が注意深くラベル付けをしたデータに基づき、AI システムが正しく猫の画像を認識できるか、質問に対して正しい答を返しているかなどを学習させてきました。
今回の AI モデルは、「自己教師あり学習」(“self-supervised” learning) と呼ばれる手法により、Wikipedia エントリー、自己出版書籍、取扱説明書、歴史の授業、人事ガイドラインなどのインターネット上で公開されている数 10 億ページもの文書を閲覧することで、言語を学ぶことができます。巨大な Mad Libsゲームのように単語や文章が削除され、モデルはその周辺の単語に基づき、削除された部分を推測します。
モデルはこの作業を数 10 億回行ない、単語の相互関係の知識を蓄積します。これにより、文法、概念、文脈上の関係などの言語の構成要素が深く理解できるようになります。また、同じモデルが、文書の理解、質問への回答、対話型ボットの構築など、様々な言語関連作業において学習結果を活用することができます。
マイクロソフトの AI at Scale の取り組みを統率するパートナー技術アドバイザーのルイ バーガス (Luis Vargas) は「これにより小規模なモデルでは実現不可能と思えたことが実現可能になります」と述べています。
この機能向上は、小学校の読解レベルを一気に離れてより高度でニュアンスを理解する言語理解へと進むものです。そして、この大規模な AI モデルを特定の言語作業に微調整したり、特定の業界や企業に特有のデータで訓練したりすることで、精度をさらに向上することが可能です。
「あらゆる組織が独自の語彙を持っているため、ビジネス、医療、法務などの領域の理解における精度をさらに高めることができるでしょう」とバーガスは述べます。
AI at Scale
次世代の大規模 AI モデルの利点の一つは、大量データとスーパーコンピューティングのリソースによる学習を一度だけ行なえばよい点です。企業は「学習済」のモデルを使用して、はるかに少量のデータセットとリソースで、他の作業向けの微調整を行なうことができます。
たとえば、マイクロソフトの Turing Natural Language Understanding モデルは、昨年に様々なプロダクティビティ製品の機能向上のために社内で活用されてきました。Bing において写真のキャプション付けや質問への回答機能を大幅に向上し、一部の市場では検索への回答の精度を最大 125 パーセント向上させました。
Office では、同じモデルが、Word のスマート検索機能による容易な検索やKey Insights 機能による重要な文章の抽出、Outlook のメール返信自動生成機能などを実現しています。また、Dynamics 365 Sales Insights でも、このモデルを使用して、顧客とのやり取りに応じた販売者へのアクション提案を行なっています。
また、マイクロソフトは、テキスト、イメージ、動画に共通の汎用の手法で学習できる大規模な AI モデルの研究も進めています。これにより、たとえば、Office のアクセシビリティ向上のための自動キャプション付けを容易にしたり、イメージや動画内の内容を理解することで Bing の検索の精度を向上したりすることが可能になります。
独自のモデルの訓練のために、マイクロソフトは、手法や最適化ツールを開発してきましたが、それらの多くは DeepSpeed PyTorch ライブラリ、および、ONNX Runtime で利用可能です。これにより、多くのコンピューティングクラスター上で超大規模な AI モデルを訓練し、ハードウェアを最大限に利用することが可能になります。
そのためには、大規模な AI モデルを多くの層に分割し、各層を異なるマシン上に分散しなければなりません。これは、並列化と呼ばれるプロセスです。また、データ並列化というプロセスにより、マイクロソフトの最適化ツールは、大量の訓練データを複数のバッチに分割し、クラスター上のモデルの複数のインスタンスの訓練に使用できるようにします。訓練結果は定期的に平均を取られ、1 つのモデルが作られます。
マイクロソフトによれば、この種の分散訓練において同社の研究者やエンジニアが達成した効率向上により、大規模な AI モデルの活用が誰にとってもはるかに効率的でコスト効果が高いものになります。
スコットによれば、汎用のクラウドプラットフォームを開発する場合には、OpenAI のスーパーコンピューティングに関するパートナーシップや AI at Scale のような性能を極限まで追求するプロジェクトが不可欠です。
スコットは、これを、自動車業界において、フォーミュラ 1 レーシングカーの高度なイノベーションが最終的には人々が日々運転するセダンや SUV で利用されるようになることにたとえています。
「大規模な AI モデルを訓練する先進的なインフラストラクチャを開発することで、私たちは Azure をより良いものにしていきます。より良いコンピューター、より良い分散システム、より良いデータセンターを構築し、それが Azure クラウド全体の価格性能比と柔軟性を高めていきます」とスコットは述べています。
—
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
