複数のＡＩが連携する仕組みで約５割が誤った指示を要求、安全管理の弱点が判明

複数の大規模言語モデル（LLM）が連携してツールを操作するマルチエージェント環境において、メッセージ伝達、署名権限、ツール側の実行制御という別個の信頼境界を整理・評価した研究論文が公開された。研究チームはこれらを通信、認可、実行の各構造として捉え、侵害された署名者がポリシー上有効な虚偽の証明を構築できる最小構成などを分析した。

実験では、無効な証明が提示されたケースにおいて、Nemotronは52.1％、Llamaは54.2％の割合で保護されたアクションを要求した。しかし、決定論的なツール側の制御ゲートはこれらを1件も実行せず、要求段階と実行段階で安全性の評価結果が大きく乖離することが示された。

さらに単一モデルによる検証では、ポリシーに適合した署名証明さえあれば、虚偽の主張であってもゲートを通過できることが確認された。研究では、伝達された情報、認可の正当性、モデルによる提案、そして実際に確定される行動を個別に分離して評価する必要性が提起されている。