Cohere、AIが解く前と後の「自信度」を自己申告し回答の誤りを見抜く新技術

カナダのAI企業Cohereは、思考プロセスを持つ学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論モデルが自らの回答の正確さを正しく評価できるようにする新手法「CALIBER」を発表した。問題を解く前と解いた後の2段階でAIに確信度を申告させることで、回答が合っているかどうかの見極め精度を高める。

近年の推論モデルは詳細な思考過程を出力できる一方で、自らの不確実性を正しく把握して伝える能力を必ずしも備えていない。思考を進める中で前提の誤りに気付いて確信度が下がることもあれば、解けそうに見えた問題で誤答に至ることもある。しかし従来のモデルでは、出力された回答をユーザーがそのまま信用してよいのか、それとも確認が必要なのかを判断するための指標が不足していた。

CALIBERでは、AIに対して「初期確信度」「推論過程」「回答」「最終確信度」を1つの応答内で出力するよう訓練する。解き始める前の初期確信度は「この問題を解けそうか」を判断するもので、同じ問題を複数回試行させたときの成功率を目標値として学習させる。一方、思考後の最終確信度は「実際に出力したこの回答が正しいか」を評価するもので、個別の回答の成否を目標値とする。訓練時には正答報酬に加え、これらの確信度を目標値に近づける報酬を組み合わせている。

数学問題3万問で学習した7Bおよび30Bモデルを用いて検証を行ったところ、数学ベンチマーク「BigMathDigits」において、7Bモデルの期待較正誤差（ECE）は従来の強力なベースラインの0.059から0.028へと52.5%削減された。正答と誤答を正しく区別できているかを示すAUROCでも0.806と最良の数値を記録した。さらにGPQAで26.8%、TriviaQAで32.2%、SimpleQAで36.2%の較正誤差削減が確認された。正答時には思考後に確信度の平均が78.5%から83.5%へと上昇し、誤答時には62.6%から54.5%へと低下する傾向も示された。

Cohereは、推論の前後に信頼できる確信度の変化を把握できるようになれば、AI自身が回答を再検証したり、追加情報を外部から検索したり、あるいは回答を保留したりする判断に活用できる可能性があると指摘している。今回の実験ではそれらの応用検証は実施されていないが、推論の各段階に応じた自己評価を実現する足がかりになるとしている。