アマゾンのAI評価ツール、選択肢から確率で選ぶ専用AIと連携し判定のブレを防ぐ

Amazon Web Services（AWS）は、AIエージェントの挙動を評価する機能「Amazon Bedrock AgentCore Evaluations」において、「決定モデル（decision model）」を評価処理に組み込む手法を公開した。エージェントが定めた方針に従っているか、ツールの呼び出しが安全かといった反復的で明確な判定処理において、評価の信頼性を高める狙いがある。

従来のエージェント評価では、汎用の大規模言語モデル（LLM）が理由とともにスコアを出力する方式が一般的だった。しかし、自由記述のテキストに基づく評価は実行ごとに確信度が変動しやすい課題がある。これに対し決定モデルは、あらかじめ定義された選択肢の中から確率分布を算出する小型の特化型モデルだ。あらかじめ決められた回答群に対して調整された確率値を返すため、数値に基づいた厳密なしきい値設定や自動処理に適している。

今回の手法では、AWS Lambda関数を実行基盤とする「コードベース評価」の枠組みを使い、外部の決定モデルを呼び出す。連携先として、TypeSafeが提供するホスト型モデル「Jev」と、Strands Agentsチームによるオープンソースの20億パラメータモデル「Strands Decider 2B」の2種類が示された。いずれも「はい・いいえ」を判定する二者択一、最大255個から選ぶ多肢選択、2〜10段階のスコア判定という3種類の質問形式に対応する。

決定モデルは既存のLLMによる評価を完全に置き換えるものではなく、15種類の組み込み評価指標と併用する多層防御のような位置づけとなる。まず決定モデルで合否判定をスクリーニングとして行い、不合格となった対話ターンについてのみ従来のLLM評価器で詳細な原因分析を行う運用が可能になる。