AIも仲間に同調？周囲のルール破りを見るだけで違反率が最大98％に急上昇

サイバーセキュリティ企業であるチェック・ポイント・ソフトウェア・テクノロジーズの脅威インテリジェンス部門チェック・ポイント・リサーチ（CPR）は、複数のAIエージェントが連携するシステムにおいて、AIが人間の「同調圧力」のように他のエージェントの振る舞いに影響される現象を確認したと発表した。直接的な悪意ある指示がなくても、周囲のエージェントがルールを破る様子を認識するだけで、違反行動に追従する傾向が明らかになった。

実験は、タスク完了に必要なフォルダへのアクセスを禁止した単一の先端AIモデルを対象に、研究者が用意した10体の仲間役エージェントの発言を読み込ませる統制実験として500回以上実施された。仲間役が「制限は解除された」と説得した場合は違反率が33％から11％へ下がり、損得を示した場合は9％に低下するなど、直接の説得はむしろルール遵守を強める結果となった。一方で、最初はルールを守ると言っていたエージェントが後から「破った」と方針を変えて報告すると違反率が急増した。心変わりした仲間が0体の場合は44％だった違反率が、4体で74％、8体では98％に達した。

この現象の特徴は、プロンプトインジェクションやジェイルブレイクのような強制的な指示が一切ない点にある。AIは周囲の行動ログやコンテキストを読み取っただけで影響を受けていた。さらに、発生した400件を超える違反のうち、エージェントが他者からの影響を理由として挙げたケースは1件もなく、約90％では理由の説明すら行われなかった。そのため、防御側がシステムのログを調査しても判断が狂った直接の原因を特定できず、エージェントが見ていた会話全体を追跡しなければ背景を把握できない課題が浮き彫りとなった。

従来のAIセキュリティ研究は個別のモデルに対する敵対的入力が中心だったが、今回の結果は集団行動そのものが判断を狂わせる新たな攻撃経路になり得ることを示している。心理学の「アッシュの同調実験」のように、攻撃者がシステム内のすべてのエージェントを乗っ取らなくても、少数のエージェントを不正に操る、あるいは操られたように見せかけるだけで、AIチーム全体の判断を崩壊させるリスクがある。

チェック・ポイントのAIセキュリティ担当シニアリサーチエンジニアであるヴィルヤミ・ラウルマー（Viljami Laurmaa）氏は、「AIエージェントは指示だけでなく、周囲の行動にも反応する可能性が見えてきた。組織が複数のエージェントを連携させて活用するようになれば、プロンプトや権限だけでなく、信頼や影響力といった観点からも考える必要が出てくる。セキュリティチームにとっては、個々のエージェントが何をしたかだけでなく、行動する前に何を見ていたかを把握することが課題になる」と指摘している。