小さいAIの下準備を巨大AIへ引き継ぎ、処理開始の待ち時間を最大5分の1に短縮

複数のAIモデルを連携させる際、モデルを切り替えるたびに文脈全体を一から読み込み直す処理負荷が課題となっている。同じ系統のモデル間であれば計算結果（KVキャッシュ）を線形変換で流用する手法も研究されていたが、モデルの規模差が大きくなると精度が大幅に低下する問題があった。こうした課題を解消するため、小型モデルで大半を事前処理し、大型モデル側では重要な箇所だけを選択して再計算する新手法「RaReCache」を提案する論文が発表された。

研究チームは、モデル間での引き継ぎ精度低下が情報密度の高いごく一部のトークンに集中していることを突き止めた。RaReCacheでは、出力方向のエネルギーから重要度を判定する独自の指標「rank disagreement」を導入し、再計算が必要な位置を特定する。これにより、大幅に小型なモデルで事前処理されたキャッシュを基にしながら、大型モデルの精度を損なわずに推論を開始できる。

2つのモデル系統と5つのベンチマークによる評価では、パラメータ数に23倍の差がある構成（Qwen3-0.6Bから14B）において、全体の30%を再計算するだけで大型モデル本来の精度の95〜99%を維持した。また、8.8倍の差がある構成（Llama3-8Bから70B）でも、40%の再計算で96.5%の精度を確保した。事前処理の速度は最大3.04倍に向上している。

オンラインサービングの検証では、単一GPUでのリクエスト処理能力が通常の1.8倍に向上した。さらにターゲットモデルの飽和負荷時において、再計算量を30%に抑えた場合、最初のトークン出力にかかる時間（TTFT）の中央値を5.0倍、99パーセンタイルを6.4倍短縮した。小型モデルが大型モデルに代わって事前計算を担うことで、推論基盤の大幅な効率化が期待される。