AWS、機器管理なしでAIの追加学習手順を自由に組める新機能を提供

Amazon Web Services（AWS）は、機械学習プラットフォーム「Amazon SageMaker AI」において、インフラを管理することなく独自の学習ループを構築できる「training session APIs」の提供を開始した。利用者は手元の端末などからPythonコードを用いて学習の各ステップを直接制御しながら、基盤となるアクセラレーターの運用をAWS側に任せることができる。

これまで大規模言語モデルの追加学習では、運用の容易さとアルゴリズムの制御自由度の間にトレードオフが存在した。設定済みのフルマネージドサービスでは独自の損失関数や強化学習の報酬アルゴリズムといった特殊な設計を組み込みにくく、一方で自由度を高めるために専用クラスタを用意すると、インフラや分散処理フレームワークの管理負担が増大するという課題があった。

今回拡張された新機能は、計算資源そのものを抽象化することでこの課題を解消する。順伝播や逆伝播、パラメータ更新、モデルからの出力生成といった処理が個別のAPI呼び出しとして提供され、利用者が定義したループ処理に従って実行される。モデルはGPU上に常駐するステートフルなセッションとして維持されるため、ステップごとにモデルを再読み込みする必要がない。料金体系は処理したトークン数に基づく従量課金制となっており、端末側で報酬計算やデータ読み込みを行っている待ち時間のGPU稼働費用は発生しない。

開発環境としてはSageMaker Python SDKを通じ、基本設定を担う「ServiceClient」、学習処理を行う「TrainingClient」、生成評価用の「SamplingClient」という3つの階層型クライアントが用意されている。事前学習済みモデルにLoRA（Low-Rank Adaptation）アダプタを組み合わせた学習に対応し、教師ありファインチューニングだけでなく、GRPO（Group Relative Policy Optimization）などの強化学習手法も実装できる。さらに、再利用可能な学習レシピ集「SageMaker training sessions cookbook」も同時に公開された。

AWSが公開した小学生レベルの算数文章題ベンチマーク「GSM8K」（約8,500問）を用いた検証では、OpenAIの「GPT-OSS 20B」モデルに対するLoRAアダプタのGRPO学習において、40問・10ステップの学習により正解率が56％から75％に向上した実績が示されている。また、ユニットテストを用いた競技プログラミングのコード生成学習など、より実践的な強化学習タスクへの応用も示されている。