AIの性能を別のAIで採点すると審査役次第で順位が激変　研究チームが実証

AIモデルの性能評価を別のAIに担わせる手法について、審査役のAIモデルを変更すると評価順位が大きく変動するという研究結果が2026年11月、arXivで公開された。人手による正解ラベルがない開発現場では、別プロバイダのAIで二重検証を行う実務慣行があるが、その前提となる信頼性に疑問を投げかける内容となっている。

研究では3社のプロバイダから選定した5種類の審査役モデルを用い、人間の投票データを持つ「Chatbot Arena」の4,000件の対決（9システム、33ペア）を再判定させた。その結果、人間との個別判定の一致度を示すカッパ係数の中央値は0.22と低迷した。人間の評価順位との相関係数（ケンドールのタウ）も0.17〜0.89（中央値0.67）にとどまり、審査役を変えても順位が安定するという事前登録仮説は支持されなかった。

異なるプロバイダの安価な2モデルが一致した結論を採用すると、単一モデルの場合より適合率が0.10向上した。しかし、人間の判断と乖離するモデルを組み合わせた場合、結論に達したのは比較全体の35％にとどまった。さらに、人間と判断が合わないモデルは、1ペアあたり最大100回の判定を行っても26〜70％の組み合わせで結果が収束しなかった。