文字や物の位置を自在に指示できる画像生成AI、オープンソースで公開

オープンソースプロジェクトのOpenMOSSは、テキストから画像を生成する基盤モデル「MOSS-Image-Base」を公開した。モデルの重みと付属の推論コードは、商用利用も可能な「Apache License, Version 2.0」のもとで配布されている。

本モデルは、通常の自然言語による指示文や単語の列だけでなく、物体の配置や描画するテキストの位置情報を記述したデータ形式での入力に対応している。指示データの調整を通じて、描画する文字のまとまりやレイアウトの構成を整理された状態で出力できるという。構図や文字の配置情報をもとに画像の内容を構造的に編集する用途にも利用できる。

モデルの構成としては、生成AIの土台になっている仕組み。文中の単語同士の関係を一度に見渡せるのが特徴。">Transformerとテキストエンコーダーに「bfloat16」、VAEと初期ノイズに「float32」を採用し、付属のVAEには「FLUX.2 small decoder」を用いている。実行環境にはPython 3.10以降およびCUDAをサポートするNVIDIA製GPUが必要で、PyTorch 2.9以降での動作を想定している。また、生成する画像の縦横の解像度は16の正の倍数に設定する必要がある。

操作環境としてはWeb画面ツールのGradioに対応するほか、画像生成ツールのComfyUI向け専用プラグインが提供されている。ComfyUIの公式リポジトリへの統合も進められているという。さらに、画像のアイデアを詳細な説明文や配置データへと変換する補助ツールも用意されている。