AIの「自信過剰」を抑える手法を検証、選択肢を1回で選んで精度を揃える

大規模言語モデルで構造化出力を得る場合、通常は出力トークンごとに計算パスが必要となる。これに対し、あらかじめ設定した選択肢の中から選ぶ決定モデルでは、対象外の語彙をマスクして候補を絞り込むことで、単一パスによる高速な処理が可能になる。

しかし、この方式で出力されるトークンの確信度スコアは、回答が正しい確率を直接反映しているとは限らない。公開データセット「CommonsenseQA」を用いた検証では、モデルが極端に過信している状態が確認された。評価結果を確信度ごとに分類したところ、確信度が0.9から1.0の範囲でも実際の正解率は70%にとどまり、0.8から0.9の範囲では約40%にとどまるなど、確信度と実際の正解率が一致しない未調整の状態が示された。

この課題に対し、温度スケーリング（temperature scaling）を用いて確率分布を平滑化し、モデルの正解率に近似させる手法が試みられた。カーブフィッティングによって算出した温度パラメータ値「3.797280788421631」を適用した結果、確信度の調整精度が大幅に改善したという。一連のデータセット構築や評価、ファインチューニング、調整用スクリプトはGitHub上で公開されている。