AIが自分の答えを見直す新手法、正答率を最大10ポイント高め計算費用も最大4割削減

AIが自身の回答を見直して正解を選ぶ自己評価手法において、計算量を増やしても精度向上が頭打ちになる限界を分析し、それを解決する新手法「Scorpio」を提案する研究成果が発表された。

AIに複数の回答候補を出力させ、自己検証や集約を行う手法が注目されているが、候補数を増やすだけでは最終的な正答率が十分に改善しない課題があった。研究チームがモデルの正誤判別の信頼性を分析したところ、計算量を増やすことで結果のばらつきは抑えられるものの、系統的な偏りは初期に減少したあと一定水準で下げ止まることが判明した。

この分析を基に設計されたScorpioは、ランダムにまとめた候補群を一括して採点する手法である。数学やプログラミング、パズルの評価において、自己検証の正答率を従来基準より最大7ポイント引き上げ、同等以上の精度を17〜42%低い推論コストで実現した。木探索を用いた解法では正答率を最大10ポイント、コーディング課題の集約手法では11ポイント向上させた。