画像と説明文を同時に作り出す新手法、地図の描画と移動指示を一体出力

画像とテキストを対等に扱い、単一のプロセスで同時に生成するマルチモーダル手法「JUICE」に関する研究論文が、2026年10月22日付でarXivに公開された。

従来のマルチモーダルモデルの多くは、学習工程。数か月と巨額の計算費がかかる。">事前学習済み言語モデルがテキストを生成し、接続された拡散ヘッドが画像を生成するという非対称な構造を採用していた。この構成では出力の生成順序が固定されるため、最初に出力されたモダリティが後から生成されるモダリティに適応できないという課題があった。これに対しJUICEは、大規模データから学習された知識を保持する事前学習済みエンコーダの連続表現空間を活用し、その結合分布を直接モデル化する。

具体的には、凍結された画像およびテキスト表現の上で動作する単一のフローマッチングTransformerとして構成されている。画像とテキストの各モダリティが独自のノイズレベルを持ち、どのモダリティをクリーンな入力とし、どれを生成対象とするかによって、画像生成、キャプション生成、視覚的質問応答（VQA）、同時生成などのタスクを切り替える仕組みである。

検証実験では、言語モデルによる初期化を行わない21億（2.1B）パラメータ、224×224ピクセルの構成で、GenEvalにおいて最大0.88、VQAv2において73.1のスコアを達成した。また、地図上にルートを描画しながら一致する移動指示を書き出す同時生成の実験では、独立した順次サンプリングによる成功率が54.6%にとどまったのに対し、結合分布からの同時サンプリングにより93.7%まで向上した。視覚的空間計画タスクにおいても99.8%の課題を解決したとしている。