AWS、AI学習の開始待ち時間を最大9割短縮　起動に必要な分だけ先読み可能に

米アマゾン・ウェブ・サービス（AWS）は、機械学習プラットフォーム「Amazon SageMaker AI」のトレーニングおよびプロセッシングジョブにおいて、コンテナの起動待ち時間を削減する「Seekable OCI（SOCI）」インデックス機能に対応したと発表した。すべてのAWSリージョンで利用できる。

深層学習で用いるコンテナイメージは10ギガバイト（GB）を超えることが珍しくなく、従来はジョブ実行前にイメージ全体をダウンロードしてディスクに展開する必要があった。このダウンロード時間は課金対象となるものの学習は進まず、ハイパーパラメータ調整や小規模な実験など、試行回数の多い作業において課題となっていた。SOCIはコンテナの遅延読み込みを行うオープンソース技術であり、起動に必要なファイルのみを先に取得し、残りのファイルは処理の実行中にバックグラウンドで順次転送する。

AWSが実施した検証によると、1.8GBから35.4GBのイメージにおいて、従来のダウンロード方式では48秒から7分17秒を要していたが、遅延読み込みではイメージサイズにかかわらず3秒から11秒で起動準備が整った。これにより、イメージ取得時のGPUアイドル時間は最大90パーセント削減された。また、画像分類モデル「ResNet-50」や大規模言語モデル「Qwen2.5-0.5B」を用いた学習検証では、初回の読み込み負荷を差し引いてもジョブ全体で1分から6分の時間短縮が確認された。

利用者は、AWSが提供する公式深層学習コンテナ（DLC）のタグに「-soci」を追加するか、ツールを用いて自作イメージにSOCIインデックスを付与することで本機能を利用できる。インデックスは「Amazon Elastic Container Registry（Amazon ECR）」内に元のイメージと紐づく別の成果物として保存されるため、イメージのダイジェストや既存の署名は変更されない。必要時には標準のダウンロードへ自動でフォールバックされるため、既存のワークフローを損なわずに導入できるとしている。