AIが答えを導く思考時間を約42倍高速化、精度を保ち素早く答える新手法が公開

AIが回答を導く際の推論処理を大幅に高速化する新たな枠組み「LLoCoT」に関する論文が公開された。従来の思考の連鎖（CoT）が抱えていた逐次的な生成処理を並列化し、精度を落とさずに応答速度を改善する手法を提案している。

言語モデルの推論では、回答前に思考過程を順次生成することで性能が高まる一方、計算遅延が課題となっていた。LLoCoTは共有のトランスフォーマーを用いて潜在的な作業領域を反復的に更新し、思考表現を並列で抽出して回答生成のデコーダに渡す仕組みをとる。

「HumanEval」および「MBPP」を用いた検証において、LLoCoTは明示的なCoTと同等の精度を維持した。さらに従来の逐次思考モデルと比較して、思考フェーズのレイテンシを約42倍、最初の回答トークン生成までの時間を約36倍短縮し、全体のスループットを9.2%向上させた。