先頭が違っても過去の計算を再利用、AIの応答待ち時間を減らす新技術が登場

大規模言語モデルの推論において、過去の計算結果を保持するKVキャッシュの再利用範囲を広げるソースコードを無償で一般に公開し、誰でも自由に利用や改良、再配布ができるようにした仕組み。">オープンソースの検証基盤「KV-Repurpose」が発表された。ソースコードはApache-2.0ライセンスで公開されている。

従来のKVキャッシュの再利用はプロンプトの先頭が完全に一致する場合に制限されやすく、異なるシステムプロンプトや会話履歴の後に同じ検索文書が現れると再利用できない課題があった。vLLMを基盤とする本システムは、セグメント単位のスケジューリングやプロンプト構築、容量管理などを組み合わせ、先頭一致に依存しない再利用を実現する。

長文ベンチマークの実験では、単一文書の質問応答や要約において出力を大きく損なわない一方、複数文書にまたがる推論では限界が確認された。要求の20%が固定の先頭を共有する検索拡張生成（RAG）を模した検証では、30GBのキャッシュ容量において従来の3.3%に対し63.9%の的中率を達成し、最初の出力までの時間を短縮した。なお、従来の方式では容量を1TBに増やしても的中率は17.9%にとどまった。