AIが危険を「見つける部分」と「拒否する部分」は別、安全性高める新手法も開発

安全対策を施した大規模言語モデルにおいて、有害性の認識と拒否の出力が別々の処理経路で行われていることを解明した論文が、2026年10月12日にarXivで公開された。安全対策済みモデルでも悪意ある指示による突破や、無害な指示を過剰に拒否する問題が残るなか、両者の発生機構を切り分けて測定可能にした。

研究チームはQwen、Llama、Gemmaを含む18組のモデルを検証した。その結果、有害性の情報は初期層のアテンション機構で読み取りやすく、後続のMLP（多層パーセプトロン）が拒否の記述を主に担う経路が存在することを突き止めた。また、推論機能を備えた6つのモデルでも、危険性の認識は思考中に行われ、拒否の出力は回答開始時に集中する傾向が確認された。

これに基づき、認識スコアと判断スコアを組み合わせた制御手法「Sentinel」を提案した。8つのモデルによる実験では、単一の信号を用いた制御や定型文による促しに比べて総合的な誤り率を低く抑えることに成功した。