AIの「誤答リスク」を意味のまとまりから計算、判断の理由も確認できる新手法

大規模言語モデル（LLM）が流暢でありながら誤った回答を生成する課題に対し、回答の不確実性を推定する新手法「Embedding Semantic Entropy」を提案する論文が公開された。

回答の意味的な等価性をもとに分類を行う従来の「Semantic Entropy」は、自然言語推論による厳密な含意判定に依存していた。新手法ではこれを意味埋め込み空間におけるK-Medoidsクラスタリングへ置き換え、クラスタ内の凝集度とクラスタ間の分離度を考慮した動的なクラスタ選択を採用する。これにより、不確実性の推定処理をブラックボックスな判定から、人間が確認できるグループ化の問題へと転換した。

研究チームはTriviaQAやSQuAD、NQ-Open、SVAMP、BioASQのデータセットを用い、「LLaMA-2-7B」や「Gemma-7B」などのモデルで検証を実施した。その結果、AUROCやAUARCにおいて競争力のある性能を示し、性能低下を抑えつつ分類結果の検証可能性を高められることを確認した。