複数の手順を踏む作業を結果だけで効率的に学習、AWSがAI訓練手法を解説

Amazon Web Services（AWS）は、「Amazon SageMaker AI」上で複数ターンの対話や行動を伴う学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習を実施するための実践ガイドを公開した。経費精算や問い合わせ対応など、連続した手順を踏む業務エージェントにおいて、全体の成否のみをフィードバックとしてモデルを訓練する仕組みを解説している。

従来の教師あり学習や1往復のみの強化学習では、途中のどの行動が最終結果に寄与したかを正確に評価できず、正解の手順をあらかじめ定義することも困難だった。今回の手法では正解となる行動履歴を用意する必要がなく、エージェントが一連の行動を終えた時点で得られる最終的な結果に対して報酬を与えることで、モデルを適切に更新できる。

システムは、訓練処理を担うSageMaker AIと、動作環境や報酬計算を担う「Amazon Bedrock AgentCore」を連携させて動作する。モデルはツール経由で環境とやり取りを重ね、終了時に報酬を返す。基盤はサーバーレスで管理され、インスタンスの選定を要さず、処理した入力や生成などのトークン量に応じて課金される仕組みとなっている。

単語当てゲーム「Wordle」を用いた検証では、モデル「gpt-oss-20b」を用いて100ステップの学習を実施した。約339ドルのトークン費用をかけた結果、未知の単語に対する正答率は従来の61%から84%に向上した。また、計算負荷を抑えた設定においても15%から69%まで正答率が引き上げられた。