AIが長い文章で間違う原因は長さではなく「情報の紛らわしさ」 研究チームが実証
要点 3行
- AIが長文検索で失敗する主な原因は文章の長さ自体ではなく、紛らわしい類似情報の存在であるとする研究が発表された。
- 無関係な文章を3万2000トークン追加しても精度は約1.00を維持したが、類似文を混ぜると0.16まで激減した。
- 12万回超の検証で、性能低下の要因は文章量よりも注目度の奪い合いによる影響が極めて大きいことが判明した。
言語モデルが長文の入力に対して正しく検索できなくなる主な要因は、文章の長さそのものではなく、似た形式の競合する情報にあるとする研究結果が発表された。論文は2026年11月4日付でarXivに公開された。
0.5Bから3Bパラメータのオープンモデル5種類を用いた検証では、中立的なテキストを追加してQwen2.5-1.5Bで3万2000トークンまで文脈を延ばしても、精度は0.97から1.00を維持した。一方で、正解と類似した形式の記述を同じ位置に配置すると、精度は0.16から0.33まで急落した。競合する値が1つ加わるだけで損失が9倍から110倍に拡大したという。
12万6473回の試行データを分析した結果、性能低下の要因の最大58%が正解情報への注意の減少(注目度の競合)で説明され、文章の長さが説明できる割合は最大8%にとどまった。研究チームは測定データとプローブを公開している。
この記事は arXiv cs.CLの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く