文書の変更でAIのデータ再計算が最大68％発生、手法による差を検証

検索拡張生成（RAG）などの知識ベースで利用されるテキスト分割手法について、文書改訂に伴う更新コストと検索品質を検証した論文が発表された。従来の性能評価は静的な文書を前提とすることが多いが、現実の文書は頻繁に編集される。文書の一部が修正されると分割境界がずれ、変更されていない文章まで再計算が必要になる課題があった。

研究チームは、英語と中国語のウィキペディアにおける改訂履歴120ペアを対象に、固定長、再帰的分割、内容定義分割の3手法を比較した。共通して処理できた116記事の評価では、固定長分割が新バージョンの入力処理量の57〜68%を再計算したのに対し、再帰的分割は38〜56%、内容定義分割は43〜54%だった。一方、一定の検索上限下での証拠再現率の差は、いずれの言語でも2パーセントポイント未満にとどまった。

分析では、固定長分割があらゆる条件で最も再計算コストが高くなることが示された。研究チームは、更新コストは従来の静的評価では見えない重要な指標であり、検索品質とあわせて報告されるべきだと提唱している。