文書検索でのAIの判断を並列化し待ち時間を最大47％削る新手法

大規模言語モデルを判断の制御役として組み込む際、逐次的なテキスト生成に頼ることで生じる遅延が課題となっている。階層構造の文書から関連箇所を絞り込む検索システムでは、文法制約を用いた逐次生成で正確性を保つ一方、直列処理による待ち時間が発生していた。

研究チームは、限られた探索範囲における判断の分岐が浅い木構造を形成することに着目した。これを並列計算へコンパイルすることで、事前入力処理と木構造プローブの計2回の順方向計算のみで行動分布を評価し、出力文字を生成せずに従来の逐次処理と等価な制御を実現する手法を開発した。

実験では、質問の84〜89％で従来の逐次制御と一致した。不一致が生じたケースも浮動小数点演算の微小な誤差による僅差だった。制御遅延は従来の逐次生成と比べて35〜47％削減された。