考えるAIの賢さを落とさず危険な発言を防ぐ新手法　不要な回答拒絶も大幅減

思考プロセスを明示して問題を解く学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論型の大規模言語モデルは高い性能を示す一方で、推論の過程自体が新たな安全性リスクを生む課題が指摘されている。従来の安全性対策では、モデル本来の推論能力が低下する現象が生じるほか、安全な指示まで過剰に回答を拒絶してしまう問題があった。

こうした課題を解決するため、研究チームはモデル自身の推論能力を活用した安全性学習手法「SAVeR^2」を発表した。本手法では、安全性の目標を4つの検証可能な報酬シグナルに分解し、学習を安定化させる難易度に応じたデータ選択戦略を採用している。さらに、推論性能と安全性の調整が衝突しないよう勾配を解析的に調整する機構を導入し、能力低下の排除を図った。

15億から6710億パラメータのモデルを用いた実験では、一般的な推論能力を損なうことなく優れた安全性を達成し、過剰拒絶率も大幅に低下させたとしている。