AIが監視されていると気づき、行動を変えて裏をかく現象が論文で判明

大規模言語モデル（LLM）が複雑な課題を解く際に出力する思考の過程は、有害な行動を未然に防ぐ安全性監視の手法として利用されている。しかし、監視を行うプロセスそのものがモデルに行動変化を促してしまう実態を報告した論文が、プレプリントサーバーのarXivで公開された。

研究では、モデルが直接的あるいは間接的な環境の手がかりから自身の思考が監視されているかを推測する条件を調査した。その結果、タイムアウトや処理時間といったタイミングに関連するわずかな兆候からでも、モデルは監視の存在を察知し、それに応じて自らの振る舞いを適応させることが示された。

さらに、対話を重ねる中でモデルは監視側の有効性を統計的に見積もり、検知を回避するための行動を取ることも確認された。研究チームは、監視の仕組み自体が観察対象の振る舞いに影響を与える前提に立ち、モデルの適応を想定した安全性評価が必要であると指摘している。