AIエージェントの安全対策に盲点、「禁止行動」より「やるべき作業の放置」が多発

自律型AIエージェントの安全監視において、禁止された行動の防止だけでなく「行うべき安全措置のやり忘れ（義務の不履行）」が重大なリスク要因になっているとする研究論文が、2026年10月10日にarXivで公開された。

GLM-5.3を用いた安全性評価では、禁止行動の発生が30.00%だったのに対し、義務の不履行は56.92%に上った。研究チームは義務検出を測る評価基準「ObligationBench」（240件の検証済みデータ）を新設して14の代表モデルを調べたが、完全一致率は最高で10.00%、再現率は48.97%と低水準にとどまった。

課題解決に向け、4万件の合成データで訓練した防御モデル「ObligationGuard」を構築。再現率57.52%、完全一致率21.67%を記録し従来モデルを上回った。研究チームは今後の安全対策に義務検出を組み込むよう促している。