AWS、チーム間でAI開発用サーバーを自動で貸し借りできる新機能を提供

米Amazon Web Services（AWS）は、機械学習モデルの訓練機能「Amazon SageMaker Training」と処理管理サービス「AWS Batch」の連携において、複数のチーム間で計算リソースを自動融通できるクォータ管理機能の提供を開始した。組織内で共有するGPUなどの計算資源をチームやプロジェクト単位で割り当て、余剰分の貸し借りを自動化することで、計算基盤の利用効率向上を支援する。

AIや機械学習の活用が進む組織では、参画するチームが増加するにつれて、限られたGPUリソースの割り当てや調整に伴う管理者の負担が課題となっていた。チームごとのキュー作成や利用上限の調整、優先度の高い作業を適切なタイミングで実行するためのスケジュール管理など、多くの手動作業や調整作業が発生していた経緯がある。

今回追加されたクォータ管理機能では、計算能力を「クォータシェア」と呼ばれる仮想的な枠に分割して管理する。各枠には、空いている計算資源を維持する「RESERVE」、他チームに貸し出す「LEND」、貸出と借入の双方を許可する「LEND_AND_BORROW」の3種類の戦略を設定できる。貸出中に自チームの作業が発生した場合は、他チームで実行中の処理を自動中断してリソースを取り戻す「クロスシェア・プリエンプション」が作動する。

さらに、同一の枠内でも優先度に基づき、重要度の高いジョブを優先して実行中の低優先度ジョブを中断させる割り込み機能も備える。これらの制御は「SageMaker Python SDK」のバージョン3を通じてプログラムから構成・操作できる。専用のAPIを活用することで、投入済みジョブの優先度を後から変更し、処理順を柔軟に切り替えることも可能となっている。