答えが出ても考え続けるAIの悪癖を修正、回答打ち切りを大幅に減らしたモデルが登場

オープンソースのAIモデル共有プラットフォームであるHugging Faceにて、Qwen3.8-27Bをベースに学習済みのAIに自社データなどを追加で学ばせて、特定の用途に合わせて調整すること。">追加学習を施した派生モデル「Coder390」が公開された。このモデルは、すでに答えを導き出せているにもかかわらず推論を停止できず、上限トークン数に達して回答を出力できなくなるという元モデルの挙動を修正することを主眼に置いている。

正解後も再検証を繰り返す「停止不能」の課題を解消

開発者によると、従来のモデルには、答えが得られた後も「Wait」や「Actually」などの言葉を挟んで同じ推論を繰り返し、設定された最大生成上限（9万4,208トークン）に達して最終的な回答が空になってしまう問題が見られた。実際には問題を解く能力があるにもかかわらず、思考を打ち切れずに失敗するケースが多発していたという。

この課題に対処するため、モデルの学習には教師あり微調整（SFT）と強化学習手法であるRLOO（REINFORCE Leave-One-Out）が複数回適用された。強化学習のデータセットとして1問題あたり8つの推論軌跡をサンプリングし、正解と不正解の両方が含まれるグループのみを抽出した。さらに、正解が0または1つしかないグループには点検済みの短い教師軌跡を補うなどして、最終的に172グループ、計1,376件の推論軌跡を作成した。報酬設計では誤った軌跡にのみペナルティを与え、正解に至る必要な長い思考には正の報酬を与えることで、妥当な深い思考を抑制しないよう配慮されている。

主要ベンチマークで上限打ち切りが大幅減少

2基のRTX PRO 6000 GPUなどを用いた同一プロトコルでの検証において、生成上限による打ち切り数はGPQAで4回から1回へ、LCB（LiveCodeBench）では13回から3回（静的FP8環境）へと大幅に減少した。従来のFP8環境ではLCBで発生した13回の打ち切りがすべて空のコード出力となっていたが、改良モデルの各構成では2〜4件に抑えられた。

性能面でも退行は見られず、静的FP8におけるスコアはGPQAで178/198、MMLUで450/500、LCBで90/100を記録し、元のFP8版（177、444、83）と同等以上の結果を示した。また、BF16、動的FP8、静的FP8の間でGPQAおよびLCBのスコア差はなく、量子化による性能劣化がないことも示されている。

多様な軽量化形式と高速化の仕組みを提供

同モデルはテキストに加えて画像や動画の入力にも対応する。また、推論を高速化するdecoding" title="動作が軽くて速い小型AIが文章の続きを素早く下書きし、賢い大型AIがそれを一括で確認・修正することで、文章生成を大幅に速くする技術。">投機的デコーディングにも対応しており、通常推論の約46トークン/秒に対し、MTP使用時で約91トークン/秒、DFlash2使用時で約180トークン/秒の生成速度が得られるとされる。

公開リポジトリではBF16や静的FP8のほか、NVFP4、INT8、INT4、各種GGUFなど多岐にわたる量子化形式が配布されている。推論エンジンとしてはSGLangやvLLM、llama.cpp、NInferでの動作が検証されており、環境に応じた利用が可能だ。今後は測定ツールによる同一プロトコルでの処理速度や同時実行性能の検証データも追加される予定である。