Together AI、GPUの故障を自動検知して最短で復旧させる機能を一般提供

Together AIは、提供する学習・推論に使われる計算チップ。もとはゲーム映像用で、NVIDIA が最大手。">GPUクラスタ向けに、マシンの障害検知から修復までを自動化する「Auto repair」機能を一般提供（GA）したと発表した。今年初めに発表した完全自動ノード修復の機能を基盤としており、すでに同社の推論基盤や一部の顧客クラスタで利用されてきた仕組みを本格展開する。

大規模なGPUクラスタ環境では、エラーコードの発生や接続異常、通信リンクの不安定化によって分散学習や推論処理が停止するリスクが常に存在する。従来の多くの自動修復システムはノードの応答停止（NotReady）だけを検知するため、一時的なネットワーク障害でもノードを一括交換してしまう危険性があり、再起動で済むのか交換が必要なのかの判断も困難だった。同社は健全性チェックの明確な根拠がない限り修復を実行しない方針をとる。

同機能は「検知」「判断」「修復」「再検証」の4段階で動作する。GPUを仮想マシン（VM）に直接割り当てる構成をとるため、障害の検知はVM内部のログやエラー監視ツールと、物理ホスト側の通信リンク監視の双方で実施される。収集された情報は一元化され、問題ごとに最も負荷の小さい修復手段が自動で割り当てられる仕組みとなっている。

修復の実行ルールは利用者が柔軟に設定できる。管理画面上で人間による事前承認を必須にするか、完全自動で実行するかを選択でき、実行中の計算処理を中断させないための待機時間も標準で2時間、最大24時間まで設定可能である。修復アクションは「再起動」「迅速な再プロビジョニング」「別ホストへの移行」などが用意され、同じマシンで同一障害が2回続いて解消しない場合は、3回目に再起動から再プロビジョニングへ、さらに別ホスト移行へと対処レベルが段階的に引き上げられる。

安全対策として、大規模障害時の過剰なノード交換を防ぐサーキットブレーカーや、修復後に約30分間の待機時間を設ける仕組みを備える。さらに、別ホストへ移行して空いた元の物理マシンについては、自動でテスト用VMが立ち上がり、GPUや通信機能の検査を実施する。テストに合格したマシンのみが自動でクラスタの利用枠に復帰し、異常が確認された場合のみハードウェア修理の手続きが自動発行される。

現在、受動的健全性チェックや修復ポリシー、APIおよび管理画面からの修復機能が一般提供されている。外部の検知ツールと連携するノードラベル機能や、電源の入れ直しが必要な特定エラーに対応するホスト電源サイクル機能については、プレビュー版として提供が始まっている。