AIの文章作成を14％高速化、候補の検証を見直す新手法が登場

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルの出力処理を高速化する技術「decoding" title="動作が軽くて速い小型AIが文章の続きを素早く下書きし、賢い大型AIがそれを一括で確認・修正することで、文章生成を大幅に速くする技術。">投機的デコーディング」において、予測候補の精度向上と検証処理の短縮を両立する新手法が発表された。従来手法では軽量モデルが作成した複数の候補を木構造にまとめて本モデルで一括検証するが、両モデルの予測傾向のズレにより無駄が生じる課題があった。

研究チームは候補の離脱規則を数理的に分析し、判定処理を並列化する「TEV」と、不足している確率情報を木構造の学習に還元する「ExitTrain」を開発した。対話やプログラム作成、数学的推論の実験では、ExitTrainにより1回あたりに確定できる文章の長さが13％伸び、TEVによって検証にかかる遅延が15％削減された。全体として既存手法「DDTree」比で14％の高速化を達成したとしている。