Pika、わずか6手順で音付き映像を作る新AI公開　画像や音など最大12素材を参照可能

米AI企業のPika（Mellis, Inc.）は、MiniMax社の基盤モデル「MiniMax-H3」をもとに学習を終えたモデルに対話力・安全性・思考力を仕込む仕上げ工程の総称。近年はここでの工夫が性能差を生んでいる。">事後学習を施した動画・音声生成モデル「Pika H3 Flex」を公開した。本モデルはオープンウェイトとして配布されており、わずか6ステップのサンプリング処理により、同期したステレオ音声を含む動画を高速に生成できる点が特徴だ。

6ステップ処理と2種のアダプター

クリエイターに向け、高い制御性と試行の速度を両立する目的で設計された。モデルには用途に応じた2種類のアダプターが用意されている。テキストや始点・終点フレームで制御を行う「FL2VA」と、複数のメディア素材を参照するマルチモーダルアダプター「Ref2VA」である。推論パイプラインはプロンプトや入力をエンコードし、選択されたアダプターで映像と音声の潜在変数を生成した後、デコードしてMP4形式に結合する。

最大12素材の参照と生成仕様

Ref2VAでは、画像、動画、単体音声クリップを合わせて最大12件まで参照素材として入力できる。内訳は画像が最大9枚、動画が最大3本、単体音声が最大3本で、少なくとも1枚の画像または動画の入力が必要となる。入力する各動画や単体音声は2〜15秒で、それぞれの合計時間も15秒以内とする制限がある。生成時の長さは規定のフレーム数に切り上げられ、5秒の指定で124フレーム（約5.17秒）、15秒の指定で362フレーム（約15.08秒）が出力される。

ローカル環境での推論はネイティブの480pおよび768p（ステレオ音声混合）に対応する。一方、Pikaのホスト型APIを利用すれば、1080pや2K、4Kへの解像度拡張や、音声ステムの個別出力、プロンプト自動強化機能も利用可能だ。

動作要件とライセンス

ベースコンポーネント全体の容量は約210GBに達し、選択したワークフローに応じた構成要素が読み込まれる。推論パッケージは単一GPUで1リクエストを処理し、NVIDIA H100（80GB）での480pおよび768pの動作が確認されている。大規模処理向けにはCPUオフロードにも対応する。Diffusers形式のスクリプトに加え、ComfyUI向けのBF16 LoRA重みも配布される。ライセンス面では、アダプター本体がMiniMax H3 Community License Agreementの下で公開され、QwenエンコーダーやサンプルコードにはApache 2.0が適用される。