米Ai2、AI研究用計算機の配分を刷新　無駄な占有を排除し保守の手間も74%減

米AI研究機関のAllen Institute for AI（Ai2）のインフラチームは、AIの大規模な学習を高速化するため、複数のコンピュータや計算用チップに処理を分担させて同時に計算を進める手法。">分散学習に用いる計算リソースのスケジューリング手法を刷新したと発表した。研究プロジェクトごとに計算時間を「予算」として事前に割り当てる仕組みなどを導入したことで、リソースの奪い合いを抑制し、人手による保守対応を74%削減した。

需要超過が生んだ「リソースの居座り」

Ai2では、NVIDIAのH100、B200、B300といった計算用半導体を数千基規模で運用し、88基から1024基で構成されるクラスタを管理している。これらは大規模言語モデル（LLM）や視覚言語モデル（VLM）の学習、ロボット向け強化学習などに従事する約150人の所内研究者に提供されている。しかし、計算リソースへの需要は供給能力を大幅に上回っており、利用可能な計算機に対して常に2倍から3倍の処理要求が競合する状態が続いていた。

従来は優先度に基づく配分方式を採用していたが、割り込みを拒否できる設定を認めていたために弊害が生じていた。必要なときに即座にデバッグ作業を行いたい研究者が、何もしない処理を実行して計算機を確保し続ける「居座り」や、すべての要求が「最優先」に指定されて優先順位が機能しなくなるインフレ現象が発生していた。また、特定チームに計算機を独占させる手法も試みたが、研究進捗の波によって計算機が遊休化する事態を招き、クラスタの稼働率と公平性の両立が課題となっていた。

時間枠を予算として配分する新方式

そこでAi2は、物理的な計算機を固定的に割り当てるのではなく、利用可能な「時間枠」を予算として配分する新システムへ移行した。プロジェクトやプログラムの責任者が、戦略的な重要度に応じて計算時間の予算を各研究に配賦する。実際の処理割り当てには過去7日間の実績を反映する階層的フェアシェア手法を採用し、割り当てられた予算を使い切っていないプロジェクトの処理を優先して実行する。

さらに、各処理に対して最低実行時間の事前申告を求める契約モデルを導入した。最低実行時間を満たした処理は必要に応じて自動で一時中断され、キューに再登録される仕組みとしたことで、特定の処理が長期間にわたって計算機を独占することを防いでいる。

保守の手間を74%削減、実質リソースも3割増に

この新たな仕組みにより、研究者が計算機を不正に確保する動機が薄れたほか、障害が発生したホストからの処理退避と復旧を自動化できるようになった。その結果、運用担当者が手作業で介入しなければならない保守作業が74%削減された。

研究者のChris Clark氏は「新しい方式により、計算能力が30%増えたように感じられる。以前はリソースを使い切れない時間帯があると無駄になっていたが、新方式では突発的な需要の際に上限を超えて柔軟に利用できるようになり、失われていた計算リソースを取り戻すことができた」と評価している。