エージェントの不整合：次の内部脅威はAIエージェントかもしれません

エージェントに失敗したデプロイを修正するよう依頼したとします。人間ならサービスを再起動し、場合によってはロールバックします。エージェントはファイアウォールのルールを広げ、sudoersファイルを編集することでデプロイをより早く通過させられると判断し、両方を行います。権限があり誰もそれをやめるように言わず、チームの誰もその方法を取らなかったでしょう。

エージェントはすでに持っているインフラ上で動作し、他のすべてと同じサーバー、ファイル共有、資格情報で動作し、効果的なガードレールがない限り、人が試したことのないルートも含めて目標に到達するあらゆるルートを取ります。NVIDIAのセキュリティチームは これをエージェントが予期しなかった経路を見つけると表現しています 元の指示にはなかったものです。

指示は助言であり、許可は強制です

システムプロンプトは、エージェントに何をしてほしいかを示します。エージェントが別のことをするのを止めることはできません。プロンプトやモデル、周囲のコードに組み込まれたすべての安全策は、モデルが正しく動作することに依存しており、それが問題となっています。権限はそれに依存しません。エージェントがシステムへの経路を持っていなければ、どんな決定をしても変更はできません。

原則はすでにご存知の通り、least privilegeと明示的な承認が最優先です。問題は、エージェントスタックのどこでこれらを適用するかです。

各エージェントに独自の制限を設定する

各エージェントに対して、作業内容、境界線、境界線に達したときの対応を指示してください。その後、指示はあくまで要請なので、ポリシー権限で裏付けを行います。エージェントが読み取れるデータ、変更可能なシステム、承認が必要な操作をリストアップしてください。権限の変更には常に承認が必要です。Credentialsは限定的で短期間、有効期限が切れやすく、簡単に取り消せるものでなければなりません。

顧客記録を更新するエージェントを例に取ります。添付ファイル内の隠れた指示が顧客リストの後にそれを送信した場合、network policyはエクスポートをブロックすべきであり、ログにはどのツールが呼び出されたか、何が許可したか、そしてどのように終了したかが表示されるべきです。

エージェントが実行する内容を確認し、実行場所を強化してください

エージェントはツール、スキル、および依存関係を読み込み、それぞれがエージェントの権限で実行されます。改ざんされたツールはエージェントと同じアクセス権を得ます。これにより、誰もエージェント自体に触れなくてもエージェントが不正動作します。何かを読み込む前に、その出所を確認し、ハッシュを計算して既知の正常なベースラインと比較してください。ファイルが承認されたリクエストと一致しない場合は、フラグを立てて信頼を停止してください。

ハードニングは最小権限の原則に従います。非rootユーザーとして実行してください。ファイルシステムの権限と開いているポートを制限します。誰も使わないパッケージ、ファイル、サービス（ビルドの残りも含む）を削除してください。インストールされたものはすべてエージェントが見つける経路になるためです。リモートコードのダウンロードと実行をブロックし、入力をサニタイズします。

コントロールが見逃すものをキャッチする

一部は通過してしまうため、必ず確認する必要があります。脅威検出はエージェントの業務に合わない行動を探します。変更追跡は影響を受けたシステムで何が変わったかを示し、それを誰かが承認した内容と照合します。ツール呼び出しとそれを許可した決定の保護された記録を保持し、アクセスを遮断する検証済みの方法を用意することで、調査担当者は何が起きたかを再構築し対応できます。

Change Trackerは誰も承認しなかった変更を検出します

エージェントはファイルを書き込み、設定を編集し、パッケージをインストールし、サービスを開始します。 Netwrix Change Tracker はそれらすべてが行われるシステムを監視します。サーバー、デスクトップ、データベース、ネットワーク機器から構成データを取得し、それぞれのベースラインを保存し、CIS Benchmarkのような強化されたビルド標準と照合します。 ファイル整合性監視 はファイルの変更を検出し、改ざんされたツールや依存関係を検出します。

sudoersファイルに戻ります。ServiceNowや他のITSMツールからの変更要求によって供給されるPlanned Changeルールは、誰かが承認した変更と一致し、Change Trackerはルールに一致しないものを潜在的な違反活動として報告します。エージェントの編集には承認されたリクエストがないため、表示されます。各イベントは何がいつどのデバイスで変更されたかを記録し、調査時にも履歴が残っています。