第1部では、AI法やフレームワークは表面的には断片的に見えても、同じセキュリティテーマに繰り返し行き着くことを見てきました。これらのテーマは2つの技術的リスクに集約されます。
1つ目は盗難です。不正アクセスやデータ持ち出しによってAI資産を失うことを指します。2つ目は改ざんです。不正なデータの投入、ポイズニング、変更によってモデルの整合性を失うことを指します。
各規制の文言は同一ではありませんが、セキュリティリーダーが両方のリスクを軸に計画を立てられる程度には一貫しています。
リスク1:モデルの盗難とデータ持ち出し
モデルの重みは、モデルを機能させる学習済みパラメータです。何年もの研究と莫大な計算投資を表すことがあります。これを制御できなくなれば、競合他社や攻撃者は対価を払わずに製品を手に入れてしまいます。
大規模なフロンティア開発者にとって、重みの保護はもはや単なるベストプラクティスではありません。California SB 53、ニューヨークのRAISE Act、イリノイのAISMAはいずれも、未公開モデルの重みを不正な変更や転送から守るためのサイバーセキュリティ対策を取り上げています。NIST AI RMFも、モデル、学習データ、知的財産への不正アクセスやデータ持ち出しからの保護を、AIのセキュリティとレジリエンスの一部として挙げています。
これらの法律は「内部または外部の当事者」による転送や変更を対象としているため、常時アクセス権を持つ内部関係者や、内部関係者に見える侵害されたアカウントも対象に含まれます。
対処方法:
- モデルの重みと関連するAIアーティファクトの保管場所を把握する。
- どのユーザー、サービスアカウント、特権IDがそれらにアクセスできるかを把握する。
- 過剰または古いアクセス権を削除する。
- 特権アクセスを必要最短の時間に制限する。
- エンドポイントやその他のチャネルを通じた不正な転送を検知してブロックする。
- インシデントの調査と報告に必要な証拠を保持する。
リスク2:モデルとデータのポイズニング
ポイズニングは、何も外部に出ていかないため、盗難よりも目立ちません。攻撃者、悪意のある内部関係者、または侵害されたIDが、学習データ、モデルのチェックポイント、設定ファイル、その他のアーティファクトを改変し、システムが意図とは異なる動作をするようにします。
その結果は、わずかなバイアスから、特定の入力で作動する隠れたバックドアまで多岐にわたります。しかもモデルは正常に動作しているように見えるため、ポイズニングは長期間気づかれないことがあります。
規制当局もこの点に気づいています。EU AI法は、高リスクAIシステムのサイバーセキュリティ耐性要件の中で、データポイズニングとモデルポイズニングを明示しています。OWASPとMITRE ATLASも、ポイズニングとモデル操作を具体的なAI攻撃手法として分類しています。
対処方法:
- 学習データセットとモデルリポジトリへの書き込みアクセスを制限する。
- AI資産を変更できる特権IDを制限し、監視する。
- モデルファイル、チェックポイント、データ、関連する設定への不正な変更を検知する。
- 何が、いつ、誰によって変更されたかを特定できるよう、監査履歴を保存する。
- 異常な変更やアクセスパターンが現れたら、迅速に対応する。
この2つのリスクを一緒に扱うべき理由
データ持ち出しは主に機密性の問題であり、ポイズニングは主に整合性の問題であるため、異なるチームや異なるツールが担当することがよくあります。
2つの「対処方法」のリストを並べてみると、同じ構成要素が両方に現れ、それぞれが異なる役割を果たしていることがわかります。
構成要素 | 盗難を防ぐ仕組み | 改ざんを防ぐ仕組み |
|---|---|---|
|
AI資産とデータの所在の把握 |
盗む価値のあるモデルの重みを保持するリポジトリを特定する |
整合性のベースラインが必要なデータセットとチェックポイントを特定する |
|
読み取りや書き込みができる対象の制御 |
モデルファイルを開いてコピーできる対象を制限する |
学習データとモデルリポジトリに書き込める対象を制限する |
|
常時特権アクセスの制限 |
重みをネットワーク外に持ち出せる常時有効なアカウントを減らす |
パイプラインをひそかに改変できる常時有効なアカウントを減らす |
|
出入りするデータの制御 |
USB、クラウドへのアップロード、メールによる重みや知的財産の流出をブロックする |
未検証のファイルが学習ワークフローに入り込むのをブロックする |
|
不正な変更の検知 |
補助的な役割:モデルファイル周辺の不審な活動の発見に役立つ |
既知の正常な状態と比較して、変更されたデータ、チェックポイント、設定を検出する |
|
監査証跡の保持 |
誰がどのファイルにアクセスまたは移動したか、そしていつかを示す |
何が、いつ、誰によって変更されたかを示す |
どちらのリスクもidentity、アクセス、データの可視性、監視に依存するため、1つの強固なセキュリティ基盤で両方に対応できます。
そして、この基盤には重要な意味があります。AIセキュリティがIDとデータのセキュリティに行き着くのであれば、IDやデータ環境にすでにある弱点は、AIの弱点にもなります。これが第3部で扱う内容です。
シリーズの次: 第3部、AIがすでにお持ちのセキュリティ上の弱点をどう増幅するか。
完全なプレイブックを入手
AI Regulatory Readinessの電子書籍をダウンロードして、2つの要件が具体的なセキュリティコントロールにどう対応するかをご確認ください。
今すぐダウンロード共有する
もっと詳しく
著者について
Istvan Molnar
IT セキュリティ コンプライアンス スペシャリスト兼プロダクト マーケティング マネージャー
Istvan Molnar は Netwrix の IT セキュリティ コンプライアンス スペシャリストおよびプロダクト マーケティング マネージャーで、国際的な標準、規制、サイバーセキュリティ フレームワークに関する 10 年以上の専門知識を持っています。彼は、複雑なコンプライアンス要件と Netwrix のプロダクト ポートフォリオの間にあるギャップを埋めることに強みを持ち、コンプライアンス主導の取り組みやゴートゥマーケット戦略に向けて、戦略的な助言、魅力的なコンテンツ、サポートを提供します。