AIは客観的でないとGoogleが警告、誤り審査で最大75％見落とす偏りも

米Google Cloudは公式ブログにて、大規模言語モデル（LLM）を評価者として用いる審査手法には特有の偏り（バイアス）が存在し、客観的な真実の判定者とはいえないとする知見を公開した。技術分野では人間が主観的であるためAIによる客観的評価に頼るべきだという誤解が根強いが、実際にはAI評価者も独自の偏りを抱えており、品質を測定しなければ成果物が損なわれるリスクがあると警鐘を鳴らしている。

ブログではLLM評価者が抱える5つの代表的なバイアスが挙げられている。事実が誤っていても長く自信に満ちた回答を好む「冗長さバイアス」や、文法や書式が整っているだけで正確だと錯覚する「ハロー効果」のほか、自身や同系列のモデルが生成した出力を体系的に高く評価する傾向があるという。さらに、提示された2つの選択肢の順序を入れ替えただけで判定が75%以上覆る場合があることや、誤りやバグ、危険な出力の検出において最大で75%見逃すことがある点も指摘した。

こうした課題に対し、Google Cloud側は評価精度を監査・改善する手法を提言している。同一の出力に対して複数回評価を行って分散を計算し、評価基準のあいまいさを特定することや、AIの甘さや偶然の一致を取り除く統計指標の導入を求めた。また、ハロー効果を防ぐために単一のモデルに全体を評価させず、事実の正確性や口調といった項目ごとに特化した判定を割り当てる手法のほか、リアルタイムの追跡では少なくとも2つの異なるモデルを同時に稼働させて統計的合意を形成するアンサンブルの有効性を挙げている。