OpenMOSS、文字や物の配置を細かく指定できる画像生成AIを無償公開

OpenMOSSは、画像生成モデル群「MOSS-Image」の派生モデルとなる「MOSS-Image-SFT」を公開した。本モデルは「MOSS-Image-Base」をもとに教師あり微調整を施したテキスト画像生成モデルであり、モデルの重みと推論コードは「Apache License, Version 2.0」のもとで提供されている。

MOSS-Image-SFTは、自然言語による指示文やタグ列に加えて、JSON形式によるレイアウト指定に対応する。描画する文字の配置や物体の並びを制御できるよう設計されており、文字のまとまりやホワイトボードのレイアウトなどをより整理された状態で出力できる。モデル構成では、生成AIの土台になっている仕組み。文中の単語同士の関係を一度に見渡せるのが特徴。">トランスフォーマーとテキストエンコーダーにbfloat16、VAEおよび初期ノイズにfloat32を採用しており、付属するVAEには「FLUX.2 small decoder」が用いられている。

実行環境としては、Python 3.10以降やCUDAをサポートするNVIDIA製GPU、PyTorch 2.9以降が必要とされる。画像の寸法は16の倍数で指定する仕様だ。画像生成ツール「ComfyUI」向けには専用プラグインが用意されており、現在はComfyUIの公式リポジトリへの統合が進められている。また、Gradio向けのインターフェースや、レイアウト作成を支援するプロンプト拡張機能も提供されている。