AIの考えすぎを防ぐ「途中終了」の効果と落とし穴を検証　研究チームが新指標

推論能力を持つ大規模言語モデルにおいて、無駄な計算を減らすために思考プロセスを途中で切り上げる「早期終了」手法の有効性と信頼性を検証した研究論文が公開された。推論モデルは思考を長く展開するほど回答精度が高まる傾向にあるが、過剰な計算も含まれるため、十分な推論が得られた時点で出力を停止する手法の導入が検討されている。

研究では、数学や科学的推論、コード生成、事実性に関するタスクを対象に、共通の検証手順を用いて5つの推論モデルで早期終了手法を評価した。あわせて、目標精度に対するトークン効率を測定する新指標「TITE」を導入し、停止判断にかかる負担や回答の信頼性を詳しく調査した。

実験の結果、終了位置によっては確率的な予測を超えて正答率が低下する事例が確認された。また、早期終了によって正解を出力できた場合でも、回答を支える推論の根拠が弱くなっている課題などが明らかになった。研究チームは評価手法の実装コードをGitHub上で公開している。