AWS、AIが自信満々に間違う問題を防ぐ新基盤を公開　410ドルを4億ドルと誤答も

米AWSは、自律的に業務をこなすAIエージェントが本番環境で誤った回答を出し続ける問題を防ぐため、「Amazon Bedrock AgentCore」を活用した継続的な評価フレームワークの運用知見を公開した。

従来のソフトウェアは不具合が起きると停止やエラー通知によって明確に検知できたが、AIエージェントは表面上は流暢かつ自信に満ちた口調を保ったまま、誤った回答を出力する特徴がある。レイテンシやエラー率を測る既存の監視ツール上は正常稼働を示す緑色の表示が続いていても、回答品質そのものが静かに劣化してしまう点が大きな課題となっていた。

AWSの営業運用チームが開発した社内向け顧客分析エージェントの事前検証では、ある顧客の3カ月間の売上「410.08ドル」を「4億1,008万ドル」と誤って報告する事例が発生した。さらに、データ内に存在しない年間経常収益の予測値を提示したり、調整額を除いた売上を別の名目で報告したりする現象も確認された。また、データやプロンプト、プログラムの更新タイミングがずれたことで、評価の合格率が78パーセントから38パーセントへと急落したケースもあったという。

同チームが運用するシステムは、営業実績を分析する「Performance Insights Agent」、顧客情報を集約する「Customer Insights Agent」、自然言語からSQL文を生成してデータを照会する「Data Insights Agent」などの専門エージェントを束ねて構成されている。現場の営業担当者による戦略立案から経営陣の週次報告まで幅広く利用されるため、数値の正確性が不可欠とされた。

これに対し同社は、安全性、品質、性能、コスト、運用制御の5つの視点を軸に、個別ツール、単一エージェント、複数エージェント連携の3階層で動作を検証する仕組みを構築した。最初のプログラム登録から本番運用に至るまでのライフサイクルを、実験や更新時の検証、実稼働時の品質維持などを含む9つの段階に分解し、Amazon Bedrock AgentCore Evaluationsを中心とするAWS各種サービスを連携させて自動監視と改善を継続している。