AIが長く考え続けても高速化の成功率は落ちないと判明、178万回検証で通説覆す

AIの思考が長くなるほどdecoding" title="動作が軽くて速い小型AIが文章の続きを素早く下書きし、賢い大型AIがそれを一括で確認・修正することで、文章生成を大幅に速くする技術。">推測デコーディングの採択率が低下するという業界の通説を覆す研究結果が、プレプリントサーバーのarXivで公開された。小型モデルで推測した単語を大型モデルで一括検証して高速化する推測デコーディングにおいて、生成位置による採択率の低下は発生しないことが体系的な実験で示された。

これまで、思考チェーン（Chain-of-Thought）が長くなると採択率が落ちると考えられており、位置を考慮した学習などの対策がとられていた。しかし従来の証拠は、推論時よりはるかに短い長さで事前学習された小型モデルによるものであり、純粋な位置依存の影響は切り分けられていなかった。そこで研究チームは、数学ベンチマーク「MATH-500」の全500問を対象に、生成位置と採択率の関係を測定する初の本格的な検証を実施した。

検証では「DeepSeek-R1-Distill-Qwen-7B」を対象モデルとし、同系統の「DeepSeek-R1-Distill-Qwen-1.5B」および別系統の「Qwen2.5-1.5B-Instruct」を小型の推測モデルとして採用した。greedy手法（0〜8Kトークン）とサンプリング手法（0〜12Kトークン）の組み合わせで約178万回の検証ラウンドを実施した結果、いずれの構成でも位置による採択率の低下は見られず、むしろ生成軌跡の後半の方が前半よりも採択率がわずかに有意に高いことが明らかになった。

さらに分析を進めたところ、不採択が集中しているのは生成位置ではなく、「wait」「however」「check」といった再考のきっかけとなる単語であることが判明した。研究チームは、軽量なLoRAによる軌跡調整を行っても採択長の改善は見られなかったとし、推測デコーディングの課題は位置依存ではなく、意思決定点における選択肢の広がり（エントロピー）に起因していると結論づけている。