正解から解き方を逆算する新手法、難問の正答率が約2倍に　検証精度0.969を達成

学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論を行う大規模言語モデル（LLM）の事後学習において、思考プロセスを含まない「問題と答えのペア」のみから効率的に学習と正誤検証を行う新手法「逆推論モデル」に関する論文が公開された。

推論モデルの追加学習では、思考過程（CoT）のデータが不足しがちな教師あり微調整（SFT）と、膨大な計算資源を消費する強化学習（RL）との間でトレードオフが存在していた。研究チームは思考過程を潜在変数として扱い、答えから元のモデルの思考過程を逆算・生成するパートナーモデル「逆推論LLM」を学習させる自己蒸留手法を開発した。この逆推論モデルは一度学習すれば新規データに対してオフラインで再利用でき、継続的な事後学習の効率を大幅に高められる。

「Qwen3-0.6B」を用い、「Countdown」および「GSM8K」タスクで検証したところ、GRPOによる強化学習が頭打ちになった状態から、逆推論モデルによる1回のオフライン蒸留を実施することで、難問プロンプトにおけるpass@1が約2倍に向上した。Countdownでは全混合比率において棄却サンプリングによる自己蒸留の性能を一貫して上回った。

さらに、逆推論モデルは出力の正誤を判定する検証機（verifier）としても有効であることが示された。テスト時の「best-of-n」選択に適用した結果、Countdownにおける正解の選択精度は多数決による0.753から0.969へと大幅に引き上げられた。