検索を使うAI、嘘の情報が多数派になると見抜く確率が10％に激減

外部の文書を検索して回答を生成する検索拡張生成（RAG）において、検索結果の多くが共通の誤情報を含んでいる場合、モデルがその誤情報を見破りにくくなる「同調バイアス」が生じるとの研究結果が論文として公開された。

研究では科学的事実のデータセット「SciFact」から無作為に抽出した200問を使用し、言語モデル「Gemma-3-12b」を対象に検証を実施した。悪意ある情報を含む文書1件と正常な文書6件を与えた少数派条件では誤情報の検知率が25％（50問）だったのに対し、互いに一致する悪意ある文書6件と正常な文書1件を与えた多数派条件では10％（20問）に低下した。

条件間で判定結果が変化した38問のうち、34問が「検知」から「未検知」へと悪化していた（p = 6.04e-7）。研究チームは、検索結果で悪意ある主張が多数を占めると、モデルがそれに同調して誤情報を検知できなくなる初期的な証拠を示したとしている。