AWS、勝手に動くAIの暴走を防ぎ安全に仕事を任せる新手法を発表

米アマゾン・ウェブ・サービス（AWS）は公式ブログにおいて、自律型AIエージェントの暴走を防ぎながら業務を安全に委託するための多層管理フレームワーク「Trust in Depth」を発表した。AIエージェントは自ら手順やツールを選んで柔軟に問題を解決できる一方、同じ指示でも実行ごとに挙動が変わるため、企業が重要な業務を任せにくい課題がある。全行程に人間が介入して承認する方法は運用の限界を招くため、確実なルール検証と人間の判断を組み合わせる仕組みの導入を提唱している。

ライフサイクルに応じた4つの管理階層

「Trust in Depth」は、従来のセキュリティ概念である多層防御（Defense in Depth）をAI管理に応用したもので、エージェントのライフサイクルを4段階に分けて安全性を担保する。実行前に権限や規則を定める「Scope（定義）」、配備時に誰の権限で動くかを明記する「Know（識別）」、実行中に許可された境界内に行動を抑える「Bound（制約）」、そして実行後に判断履歴を追跡・評価する「Observe（観測）」で構成される。主観的な表現や曖昧な判断は人間に委ねる一方、厳密な規則については数学的論理で例外なく検証する。

10年以上の実績を持つ自動推論技術を応用

この仕組みの中核となるのが「自動推論（Automated Reasoning）」である。テストケースによる確認だけでは想定外の行動経路を網羅できないが、数学的論理に基づく自動推論を用いれば、あらゆる状況で規則が遵守されるかを事前に証明できる。AWSはこの技術を10年以上にわたり本番環境で運用しており、毎秒21億件以上のリクエストを処理する認証認可基盤「Identity and Access Management（IAM）」や仮想化基盤「AWS Nitro Hypervisor」などの重要システムで培った実績をAIエージェントの制御に応用する。

ガバナンスを支える製品群と連携

フレームワークの実践に向け、各種サービスやツール群との統合も示された。設計段階では仕様から論理矛盾を洗い出すコーディング支援システム「Kiro」やオープンソースの「Strands」を活用する。運用のガバナンス面では、平易な記述でポリシーを設定してアクセスを制限する「Amazon Bedrock AgentCore」や、組織内の全エージェントをカタログ化して固有IDを付与する「AWS Agent Registry」が機能する。実行環境の隔離には「Strands Box」を用い、実行後の継続的な追跡や評価は「Amazon CloudWatch Omni」が担当する。

退職者のアカウント停止やメール転送といった実際の業務手順を例に挙げ、規則が正しく満たされた場合のみ次の作業へ進める制御手順も提示された。AWSは、エージェントが自律的に動く環境の周りに外部から決定論的な境界線を敷くことで、プロンプトインジェクションなどの不正操作や誤作動が起きても安全限界を逸脱させない運用が可能になるとしている。