満点続出で差がつかないAIテスト、解く手順の比較で実力差を見極める研究

AIの急速な進化によって性能測定テストが満点近くに達し、モデル間の差異を評価できなくなる問題に対し、タスクを解く過程の記録（トランスクリプト）を用いて潜在的な能力差を予測する研究成果が公開された。

AIモデルがテストで満点に近くなると、安全性評価や先端方針策定に資する差別化が難しくなる。しかし、テストの回答過程にはスコア以上の情報が含まれている。研究チームは過去のテストとモデルの公開履歴を用いて遡及的にテストの飽和状態を再現し、正解した記録のみを用いて、未飽和の別テストでの性能を予測できるかを検証した。検証対象には、2つの記録を比べるペアワイズ判定、単一記録の絶対評価、記録の特徴量や埋め込みからの予測が含まれる。

検証の結果、テストが満点水準にあっても記録にはモデルの能力情報が残っていることが判明した。なかでもペアワイズ判定は最も高い精度を示し、飽和したテストの点数のみを用いたベースラインと比較して予測誤差を5.3倍削減した。能力に関わる情報は推論の展開やツールの呼び出しといった特定の要素に集中していた。一方で、2025年初頭に登場した初期の推論モデルの能力を過小評価するなど、モデルの形式変化に対する予測の汎化には課題が残るとしており、既存テストを活用し続けるには記録から信号を頑健に取り出す設計が必要だと論じている。