AIの判断は意見に流されやすい？米研究機関が1300万件で公平性を検証

米研究機関のAllen Institute for AI（Ai2）は2026年10月20日、学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルの意思決定における公平性を測定する新たなベンチマーク「FairStress」を発表した。単に最終的な選択が公平かどうかを見るだけでなく、外部からの説得や意見を受けた際にAIが判断をどれだけ維持できるか、その堅牢性と非対称性を検証する。

表面的な一致だけでなく判断の揺らぎを測定

採用選考や融資の承認、医療処置の優先順位付けなど、AIの出力が人々の機会や資源に直接影響を与える場面が広がっている。従来の公平性テストでは、候補者の属性を入れ替えても同じ候補者を選ぶかが調べられてきた。しかしAi2は、表向きは同じ結論を出していても、外部からの説得を受けた際に特定の属性に対してだけ判断を容易に変えてしまう「隠れた非対称性」が存在すると指摘する。

FairStressは、証拠に基づく判断であれば属性に関わらず等しく基準を適用し、反論に対しても同等の耐性を持つべきだという対称的な公平性を評価基準に据えている。採用、医療、融資、教育、刑事司法など29領域にわたる300件の2候補者シナリオを用意した。明確に能力差がある事例と優劣をつけがたい曖昧な事例の両方が含まれ、属性の明示度合いや、権威や歴史的不利などを根拠にした説得文を組み合わせることで、テストケースは1,300万件以上に及ぶ。評価負担を軽減する5万件のサブセット「FairStress-Core」も開発され、評価基盤「Olmo-eval」にも組み込まれる。

少数派への過剰補正と学習データの偏り

実験の結果、プロンプトに属性情報が含まれない場合、AIの判断に大きな偏りは見られなかった。しかし属性が明示または示唆されると、対称性が崩れる現象が確認された。能力の高い多数派候補を選んでいた場合でも、少数派候補を推す説得文が提示されると、AIは正解を放棄して判断を変えやすくなる「反ステレオタイプな過剰補正」が生じた。評価した15モデルにおいて、正解を放棄する確率の差は属性の示唆で平均6.9ポイント、明示的な表記で平均9.3ポイントに達した。「Claude Opus 5」や「GPT-5.5」などのフロンティアモデルでも、判断が曖昧なシナリオで少数派候補を60〜65%の割合で選択した。

さらに判断の理由説明においても差が生じており、少数派候補を選択した際は「多様性」「障壁」といった言葉が多用され、多数派候補の際は「証拠」「基準」といった手続き的な言葉が目立った。モデル内部の活性化パターンを分析した実験では、約73%の精度でどちらの属性側を選ぶかを予測できた。「Olmo 3」の学習データパイプラインを調査したところ、能力主義に基づく判断を扱うデータが極端に少なく、属性の描かれ方に偏りがあることが判明した。