教室からチャットルームまで、ユーザーを守る Azure AI Content Safety

ジェイク シーゲル (Jake Siegel)

※本ブログは、米国時間 2023 年 10 月 17 日に公開された “How Azure AI Content Safety helps protect users from the classroom to the chatroom” の抄訳を基に掲載しています。

今年の初め、南オーストラリア州の教育省は、生成 AI を教育現場に導入することを決定しました。しかし、その扉を開く前に、どのような方法で責任を持って行うのかという、一つの疑問が大きく浮かび上がりました。

生成 AI は、広範囲でフィルターされていないインターネット上でトレーニングされています。そのため、大規模言語モデルの出力に反映される可能性のある、有害または不適切なコンテンツから生徒を保護することが重要な課題であると、同省のデジタルアーキテクチャー部門のディレクター、サイモン チャップマン (Simon Chapman) 氏は指摘します。

「生成 AI の公開バージョンにおいて、教育で利用できることは非常に限られています。学生が AI とどのように対話するかについてのガードレールが存在しないのです。」と、チャップマン氏は話します。

今日に至り、同省による AI を搭載したチャットボット、EdChat の試験運用が最終段階に入っています。8 つの中等学校で約 1,500 人の生徒と 150 人の教師が、細胞分裂からジョン スタインベックの小説 『二十日鼠と人間』 の筋書きまで、あらゆることを調べるのに役立つボットの能力をテストしました。

チャップマン氏によれば、同省はまだ結果を評価中ですが、ガードレールとして使用したマイクロソフトのシステムは高い評価を得ました。そのシステムとは、組織がより安全なオンライン環境を構築するための AI 搭載プラットフォーム、Azure AI Content Safety です。

EdChat に組み込まれた安全機能は、不適切な入力クエリをブロックし、有害な応答をフィルタリングします。これにより、教師はコンテンツの監視よりも、テクノロジの教育上の利点に集中することができたと、チャップマン氏は言います。

さらに、チャップマン氏は次のように述べています。「初日からコンテンツセーフティサービスを導入していなければ、このペースで進めることはできなかったでしょう。これは不可欠なものです。」

マイクロソフトは本日、Azure AI プラットフォームにおける Azure AI Content Safety を一般提供することを発表しました。このサービスは、高度な言語モデルと視覚モデルを使用して、ヘイト、暴力、性的、自傷行為に関連するコンテンツの検出を支援します。このモデルが、潜在的に有害なコンテンツを検出すると、推定された重要度スコアを割り当てます。これにより、企業や組織は、自社のポリシーに基づいてコンテンツをブロックしたり、フラグを立てるなど、サービスをカスタマイズすることができます。

当初、Azure AI Content Safety は、Azure OpenAI Service の一部として導入されましたが、現在は独立したシステムになっています。つまり、お客様はオープンソースや他社のモデルから生成された AI コンテンツだけでなく、コンテンツシステムの一部としてユーザーが生成したコンテンツも監視することができるため、有用性が拡大します。

マイクロソフト AI プラットフォーム担当コーポレートバイスプレジデントのエリック ボイド (Eric Boyd) は、次のように述べています。「生成 AI が主流になるにつれ、マイクロソフトは企業が AI をより安全に導入できるよう、必要なツールを提供しようとしています。現在、企業が生成 AI の驚異的な力を実感しつつある、素晴らしい瞬間に立ち会っています。Azure AI Content Safety を独立した製品としてリリースすることで、より幅広いビジネスニーズを持つ多くのお客様にサービスを提供できるようになります。」

これは、マイクロソフトが責任ある AI を開発するための原則を実践している一例に過ぎません。当社では約 350 名が責任ある AI に取り組んでいます。過去数年間、マイクロソフトは責任ある AI ガバナンスを提唱し、米国ホワイトハウスの自主的な AI に関する取り組みを支援してきました。さらに、製品開発のために責任ある AI の研究の境界を押し広げ、AI システムの設計、構築、およびテストのための責任ある AI Standard を公開し、Azure Machine Learning の責任ある AI ダッシュボードのようなツールをお客様に提供しています。

マイクロソフトのパートナーグループのプロダクトマネージャーで、基盤技術における責任ある AI を率いるサラ バード (Sarah Bird) は、次のように述べています。「これは後付けではなく、当社の AI イノベーションストーリーの重要な一部です。私たちは、責任ある AI の課題を解決する方法を見つけ出すために、最高のツールを提供しています。Azure AI Content Safety は、当社の生成 AI アプリケーションをより多くのお客様に提供するための基盤となっています。」

様々なユースケースに応じてカスタマイズ可能

マイクロソフト社内では、自社の AI 搭載製品のユーザー保護に、Azure AI Content Safety を利用してきました。バードによると、このテクノロジは、Bing、GitHub Copilot、Microsoft 365 Copilot、Azure Machine Learning などの製品におけるチャットベースのイノベーションを、責任を持ってリリースする上で不可欠でした。

コンテンツが溢れる世の中で、責任ある AI の問題は、企業や産業全体にわたって存在します。だからこそ、Azure AI Content Safety の重要な利点は、そのコンフィギュアビリティ (設定可能性) にあると、バードは指摘します。ポリシーは、お客様の特定の環境やユースケースに合わせて調整することができます。例えば、ゲーム向けのプラットフォームでは、暴力的な表現などに対して、授業で使う教育向けプラットフォームとは異なる基準を設定することになります。

エネルギー企業のシェルは、生成 AI プラットフォーム、Shell E を開発しました。このプラットフォームにより、チームはオープンソースや他の大規模な言語モデルに基づいてアプリケーションを構築・展開することができ、従業員はワークフローを補完するための質問や情報の取得が可能になります。

シェルの AI システムのシニアテクニカルマネージャー、シヴァ チャマルティ (Siva Chamarti) 氏は、Shell E の目的について、従業員が社内ナレッジにアクセスし、より効率的に活用できることだと述べています。ユースケースは、シェルの全分野をカバーしており、コンテンツの起草、要約、翻訳、コード生成とテスト、および全ての技術分野にわたるナレッジマネジメントなどが含まれます。また、分子生成など、より複雑なユースケースにも取り組んでいます。

「Azure AI Content Safety は、不適切または有害な応答を制限しながらテキストや画像の生成を可能にすることで、Shell E プラットフォームのガバナンスに重要な役割を果たしています。」とチャマルティ氏は話します。このツールは、生成されたコンテンツがユーザーに届く前に、入力と出力がそれぞれポリシーに準拠しているかをチェックします。

チャマルティ氏は、さらに次のように述べています。「今、生成 AI に対する熱狂的な関心が高まっています。まだ初期段階ですが、同僚たちは自身の仕事に対して創造的な活用方法を考え出しており、私たちのユースケースはますます蓄積しています。」

AI 時代の信頼構築

生成 AI の普及が広がるにつれ、オンライン空間における潜在的な脅威も増えていくでしょう。

この問題に対してバードは、「これらの脅威に先んじるため、マイクロソフトは研究とお客様からのフィードバックを通じて継続的に技術を改善していく」としています。例えば、現在進行中のマルチモーダルモデルに関する研究は、個々のチェックでは見落とされる可能性のある、ミームのような望ましくない画像とテキストの組み合わせの検出を強化します。

また、ボイドは、マイクロソフトが数十年にわたって、コンテンツモデレーションに取り組んできたことを強調し、Xbox フォーラムから Bing まで、あらゆる場所でユーザーを保護するためのツールを開発してきたと指摘しています。Azure AI Content Safety は、その経験と、お客様がコンテンツ検出機能のパワーを活用できるようになる以前のサービスである Azure Content Moderator をふまえて構築されており、強力な新しい言語モデルと視覚モデルを活用しています。

マイクロソフトは、安全性を総合的に考えることで、消費者が信頼できる AI を広く普及させたいと考えています。

ボイドは次のように述べています。「信頼は、マイクロソフトのブランドと Azure の礎であり、創業当初から変わらないものです。AI 時代に突入した今、私たちはお客様を確実に守る方法を拡大し続けています。」

関連情報:

• 詳細を知る: Azure AI Content Safety
• 責任ある AI プログラムを振り返る:進歩のための 3 つの重要な要素
• AI カスタマーコミットメントを公開
• 安全、安心、信頼できる AI の実現に向けたコミットメント

トップ画像: アデレードのミッチャム女子高等学校の生徒と教師は、EdChat を使用しています。EdChat は、AI を搭載したチャットボットで、大規模な言語モデルが返す可能性のある出力内の不適切または有害なコンテンツから生徒を保護するために Azure AI Content Safety を使用しています。写真提供: 南オーストラリア州教育省。

—

本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。