米エヌビディア、自動運転やロボット操作をリアルに再現するAIモデルを公開

米NVIDIAは、仮想空間のシミュレーション基盤「NVIDIA Cosmos」向けに、4種類の学習済みモデルの中身 (重み) が公開されていて、誰でもダウンロードして動かせるAIモデル。">オープンウェイトモデルを公開した。「Cosmos 3 Nano」をベースに事後学習を施した160億（16B）パラメータのモデル群で、自動運転やロボティクスの開発に向けた映像生成に対応する。ライセンスには「OpenMDW1.1」を採用しており、規約のもとで商用および非商用の双方向で利用できる。

公開されたモデルのうち、自動運転向けには2種が提供される。「Cosmos3-Nano-Transfer-Auto」はオフラインでの走行データ合成を担い、魚眼レンズを含む最大11視点のカメラ映像とLiDARセンサーのデータを同期して生成できる。「Cosmos3-Nano-Sim-Auto」は因果関係を考慮した蒸留モデルであり、運転操作や走行履歴の入力を受けながら、わずかなノイズ除去ステップでカメラ映像とLiDAR観測を連続的に配信できる。

ロボティクス向けには、物理シミュレータの空間制御情報とテキスト指示からフォトリアルな映像を作る「Sim-Transfer」と、ロボットの行動からその後の環境変化を予測する「Sim-Bimanual」を用意した。後者はYAMやAgiBotといった二腕ロボットの操作に対応し、59系統の制御値をもとに視点の切り替えと物体の操作をシミュレーションできる。基盤には「Mixture-of-Transformers」構造を採用し、生成履歴を入力に戻して学習させることで、映像生成の誤差が蓄積する課題に対応した。動作環境としてLinuxや同社製GPUを要求し、公開構成はGB200を搭載した環境で検証されている。