※ 本ブログは、米国時間 21/12/9 に公開された “Best practices for AI security risk management” の抄訳です。
ウィル ピアース (Will Pearce) Azure Trustworthy ML 担当 AI レッドチーム リード
ラム シャンカール シバ クマール (Ram Shankar Siva Kumar) Azure Trustworthy ML 担当データ カウボーイ
マイクロソフトは、組織が AI システムを確実に監査、追跡、改善できるようにするためのステップとなる、AI セキュリティ リスク評価フレームワークを発表しています。また、オープン ソースツールである Counterfit のアップデートも提供し、AI システムのセキュリティ体制の評価を簡素化できるようにします。
今、AI システムを敵対者から保護することへの関心が高まっています。Counterfit は、スタートアップ企業から政府機関、大企業に至るまで、あらゆる規模の組織がAI システムをプロアクティブに保護するためにダウンロードし、検証を重ねてきました。このほかにも当社では、現実に近い状況における AI システムの防御や攻撃に対するセキュリティ専門家の能力を高めるため、機械学習回避コンテスト (Machine Learning Evasion Competition) を開催し、同イベントの参加者数も使用されたテクニックの数も前年の 2 倍となり、記録的な数字をはじき出しました。
このように関心が高まっているのは、AI システムの保護に対するマインドセットと機会が成長している証です。しかし、この関心の高さを行動に移し、AI システムのセキュリティ体制を向上させるにはどうすればいいのでしょうか。またセキュリティ エンジニアは、肝心なときに AI システムが侵害されるリスクの軽減についてどのように考えればいいのでしょうか。
AI セキュリティ リスク評価フレームワークについて
AI によってセキュリティ管理に不備が生じていることは明らかです。2021 年 9 月に発行された Gartner® の「AI の信頼性、リスク、セキュリティ管理に関する市場ガイド」 (Market Guide for AI Trust, Risk and Security Management) には、「AI によって、従来の管理体制では対応できない新しい信頼性やリスク、セキュリティ管理の要件が生まれている」と書かれています1。この新しいギャップに対処するにあたり、新たなプロセスをあみ出したいとは考えていません。セキュリティ専門家がすでに手一杯だということがわかっているためです。それに、AI システムへの攻撃は新たなセキュリティ リスクをもたらしますが、現在のソフトウェア セキュリティ対策をこの新たなリスクの管理にも適応させることができると考えているためです。そこでマイクロソフトでは、現在のセキュリティ リスク評価フレームワークの考えに基づき、AI セキュリティに関するリスク評価を作成しました。
当社では、AI システムのセキュリティ リスクを包括的に評価するには、システムの開発と展開のライフサイクル全体を見る必要があると考えています。学術的な敵対的機械学習を通じた機械学習モデルに依存しすぎると、実際の問題が過度に単純化されてしまいます。つまり、AI モデルを真に保護するには、AI システムのサプライチェーンと管理全体の安全性を考慮しなくてはならないのです。
マイクロソフトでモデルを構築し、レッドチームを構成したオペレーションの経験から、当社では AI システムの保護はチームスポーツであると考えています。AI 研究者がモデル アーキテクチャを設計し、機械学習エンジニアがデータの取り込みやモデルのトレーニング、展開のパイプラインを構築します。セキュリティアーキテクトは適切なセキュリティ ポリシーを確立し、セキュリティ アナリストが脅威に対応します。その実現に向け、当社ではそれぞれの関係者が参加するフレームワークを描いたのです。
「安全な AI の設計と開発は、Boston Consulting Group (BCG) における AI 製品開発の基礎となっています。AI システムの安全性に対する社会的ニーズがますます高まる中、マイクロソフトのAI セキュリティ リスク管理フレームワークのような資産が基盤的な貢献につながるかもしれません。当社では、同フレームワークにあるベスト プラクティスを顧客向けに開発する AI システムにてすでに実装しており、マイクロソフトが業界全体のためにこのフレームワークを開発し、オープン ソース化したことをとても嬉しく思っています」— BCG シニア セキュリティ エンジニア、ジャック モロイ (Jack Molloy) 氏
マイクロソフト全社で協力して生まれた同フレームワークには、次のような特徴があります。
- AI システムのセキュリティに対し包括的な視点を提供します。データ収集やデータ処理、モデルの展開など、プロダクション環境におけるAI システムのライフサイクルの各要素に注目しました。また、AI のサプライチェーンや、AI システムのバックアップ、リカバリ、緊急時対応計画に関する管理とポリシーも考慮しています。
- 機械学習の脅威と、その緩和策について推奨事項を解説しています。エンジニアやセキュリティ専門家を直接支援できるよう、AI システムの構築プロセスの各ステップにおける脅威の詳細を列挙しました。次に、AI システムを保護する状況において、既存のソフトウェア セキュリティ対策を重ね合わせて強化するベスト プラクティスを提供しています。
- 組織におけるリスク評価の実施を支援します。同フレームワークにより、組織内のAI システムのセキュリティの現状について情報が収集できるようになるほか、ギャップ分析を実施し、セキュリティ体制の進捗状況が追跡できるようになります。
Counterfit のアップデートについて
セキュリティ専門家がAI システムのセキュリティ体制をより幅広く把握できるよう、Counterfit も大幅に拡張しました。Counterfit の初期リリースでは、Adversarial Robustness Toolbox (ART) と TextAttack というよく知られている 2 つのフレームワークをラップし、表形式や画像、テキスト入力で動作するモデルに対する回避攻撃を提供しました。新たにリリースされた Counterfit には、以下のような特徴があります。
- 新しい攻撃フレームワークの統合を簡素化する、拡張性のあるアーキテクチャ
- 機械学習モデルの内部にアクセスする攻撃や、機械学習モデルへのクエリ アクセスのみを対象とした攻撃
- 回避、モデル反転、モデル推論、モデル抽出などの脅威パラダイム
- アルゴリズム攻撃に加え、AugLy による一般的な破損攻撃も提供
- 表形式のデータ、画像、テキスト、HTML、Windows 実行可能ファイルを入力形式として受け入れるモデルへの攻撃もサポート
その他の情報について
こうした取り組みは、エンジニアがAI システムを安全に開発し展開できるよう、マイクロソフトが実施している幅広い投資の一環です。以下のリソースも合わせてご活用ください。
- セキュリティ アナリストがAI システムに対する脅威を正しく判断できるよう、マイクロソフトは MITRE と共同で、ATT&CK スタイルの敵対的脅威マトリックス (Adversarial Threat Matrix) をリリースしました。これには、プロダクション環境の機械学習システムに対する攻撃のケース スタディも含まれており、それが進化して MITRE ATLAS になりました。
- セキュリティ インシデント対応担当者に向けては、機械学習システムへの攻撃を体系的に分類する独自のバグバー (bug bar) をリリースしました。
- 開発者向けには、機械学習システムに特化した脅威モデリング ガイダンスをリリースしています。
- エンジニアや政策立案者に向けて、マイクロソフトはハーバード大学の Berkman Klein Center と協力し、機械学習の不具合モードを文書化したタクソノミーをリリースしました。
- セキュリティ専門家に向け、AI システムの体制評価に役立つ Counterfit をオープン ソース化しました。
- より幅広いセキュリティ コミュニティに対し、マイクロソフトは毎年 Machine Learning Evasion Competition (機械学習回避コンテスト) を開催しています。
- Azure Machine Learning をご利用のお客様には、エンタープライズ セキュリティとガバナンスに関するガイダンスを提供しました。
これは今後も更新され続けるフレームワークです。ご質問やご意見がございましたら、お問い合わせいただければと思います。
マイクロソフトのセキュリティ ソリューションの詳細は、当社のサイトをご覧ください。セキュリティブログでは、セキュリティ関連の専門情報が入手できます。また、Twitter (@MSFTSecurity) でもサイバー セキュリティに関する最新ニュースや情報をお届けしています。
1 Gartner、Market Guide for AI Trust, Risk and Security Management、Avivah Litan他、著、2021 年9 月 1 日
GARTNER は、米国および世界における Gartner, Inc. および/またはその関連会社の登録商標およびサービスマークであり、許可を得てここで使用しています。無断転載を禁じます。
—
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
