AIの思考プロセスから不正を検知しやすくする新手法、研究チームが発表

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルが段階的に推論する「思考プロセス」を監視し、有害な動作を検知する技術に関して、新たな評価枠組みと学習手法を提案する研究論文が公開された。従来の介入に基づく評価指標は、介入が原因で起きた有害動作の検知率を過大評価する傾向があるという。

研究チームは、介入に起因する検知率の上限および下限を数理的に導出し、監視精度をより厳密に測定できる評価基盤を構築した。さらに、対照タスクと介入タスクを組み合わせたデータセットを作成し、モデル自身を監視しやすくするための追加学習手法を検証した。

具体的には、オフポリシー自己蒸留、強化学習、オンポリシー自己蒸留に基づく3種類の学習方法を適用した。検証の結果、多様なモデル構成において、従来のベースモデルよりも思考プロセスの監視性が全般的に向上することを確認した。