画像の理解と作成を1つのAIで両立 段階的に質を高める新手法が発表
要点 3行
- 画像の理解と生成を1つの離散拡散言語モデルで同時に処理する手法「NLD-Uni」が提案された。
- 2つの異なる手法から理解力と生成力を引き継ぎ、推論時に段階的に画質を高める仕組みを導入した。
- 視覚的な質問応答や推論、画像生成や編集といった多様な処理で最高水準の性能を達成した。
画像の理解と生成の双方を単一の離散拡散学習し、次に来る確率の高い単語を予測して文章の理解や作成を行うAIの仕組みのこと。">言語モデルで処理する新手法「Nemotron-Labs-Diffusion-Uni(NLD-Uni)」に関する論文が、2026年10月28日付で公開された。
従来の統合型画像生成AIが採用する。">拡散モデルでは、理解力と生成力を高い水準で両立させることが難しかった。NLD-Uniでは、自己回帰型モデルが持つ視覚理解能力と、連続フローモデルが持つ画像生成能力を単一のモデルへ転移させる蒸留フレームワークを導入した。
また、従来のマスク処理とは異なり、学習段階でトークンを複数段階に分けて徐々に変化させる手法を採用した。これにより、推論の途中でトークンの状態を中間確定できるようになり、段階的な自己洗練を通じて生成される画像の品質を高めることが可能になった。
検証実験では、視覚的な質問応答や複合推論、物体グラウンディングに加え、文章からの画像生成や画像編集といった多岐にわたる処理において、統合型の離散拡散言語モデルの中で最高水準の性能を記録した。
この記事は arXiv cs.CVの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く