指示文一つで映像の人物や天候を丸ごと作り替えるＡＩをＶｉｇｇｌｅが公開

動画生成技術を手がけるViggle AIは、既存の映像に含まれる登場人物や天候、背景などを別の内容へ差し替える動画変換モデル「Viggle Remake」のデータを公開した。利用者が短い指示文と動画を与えるだけで、カット検出から主要な画像の描画、動画の再生成までを自動処理し、元の動きやカメラワーク、音声のタイミングを維持したまま新たな映像を仕上げることができる。

本作は、以前「Viggle-Animate v2」として予告されていた技術の発展形にあたる。従来のViggle-Animateがキャラクターの置き換えに特化していたのに対し、Remakeでは人物の配役変更に加え、物体の追加や削除、背景や天候、照明条件の変更まで対応領域を広げた。映画『ラ・ラ・ランド』（2016年）のワンカットを22通りの演出に作り替えるデモや、ミュージックビデオのパロディ制作など、映像全体の表現を柔軟に再構築する用途を想定している。

技術的には、MiniMaxの基盤モデル「MiniMax-H3」に対して学習済みのAIに自社データなどを追加で学ばせて、特定の用途に合わせて調整すること。">追加学習を施した構成を採用した。人物やキャラクターを差し替える「swap」モードと、物体や背景、光の調整を行う「edit」モードの2系統を用意している。利用者は1枚から4枚の基準画像を提示し、所定の書式に沿った指示文を与えることで生成を行う。また、外部の自動実行プログラムと連携することで、長尺の動画をカットごとに自動分割し、画像の描画から合成、元の音声の結合までを一括して処理することが可能となっている。

生成に必要なベースモデルのファイルは約144ギガバイトに及び、全体の容量は約210ギガバイトに達する。標準的な実行には80ギガバイト以上のビデオメモリを備えた計算機が必要とされるが、軽量化された設定ファイルや外部ツールを活用することで、32ギガバイトのビデオメモリを搭載した家庭向け機器でも動作する。検証例では、1,280×736ピクセルの映像において345フレームの処理を約28分で行い、116秒の楽曲映像全体の処理を約3時間で完了したとしている。公開プラットフォームのHugging Face上では、すでに190件以上の高い評価を集めている。

提供元は、本技術が合意を得た出演者の配役変更やセットの調整など正当な再撮影用途を目的としていると説明する一方、同意を得ていない実在人物の容姿を勝手に映像へ当てはめる悪用が可能である点にも注意を促している。モデル自体には同意の有無を判別する機能が組み込まれていないため、合意のない人物の映像化を禁じるとともに、生成物にはAI製であることを明記するよう求めている。商用利用にあたってはMiniMaxの利用許諾条件が適用され、関連事業の年間売上が2,000万米ドルを超える組織での商用展開には個別の許諾が必要となる。