利用者の指示通りに動く映像世界を実現、動きの計算と描画を分離する新技術

利用者の操作に応じてリアルタイムに変化するインタラクティブな映像世界を構築する新技術「BoxWorld」に関する論文が公開された。従来の動画動画生成やロボット・自動運転の次の主戦場とされる。">世界モデルは映像生成器の内部で物体の相互作用をまとめて学習していたため、物体ごとの細かい動作ルールを指定して制御することが困難だった。

BoxWorldは、相互作用の推論と映像の描画処理を分離した設計を採用している。利用者が指定したルールに基づき、エンジンが物体の位置や属性、動的な状態を計算する。その状態ストリームを受け取った生成描画部が、過去の生成履歴との整合性を保ちながら逐次的に動画を描画する仕組みだ。

モデルの訓練には、動画からの物体認識やゲーム映像からの状態遷移の学習、自己生成データによる蒸留を組み合わせた3段階の戦略を導入した。独自の評価指標「PairedStateBench」などの検証において、既存のエンドツーエンド型モデルを大幅に上回る制御性能を確認したとしている。