AIを文字で操る仕組みが画像生成にもそのまま通用、内部の共通構造を解明

文章と画像を同時に扱う統合マルチモーダルモデルにおいて、一方の出力を特定の方向へ誘導する「ステアリングベクトル」が、学習済みのAIに自社データなどを追加で学ばせて、特定の用途に合わせて調整すること。">追加学習なしで他方の生成にも転移することを示した研究が発表された。

研究チームは感情や物体の大きさといった概念を対象に、文章から画像、画像から文章の双方向で転移を検証した。その結果、言語に特有とされる「フォーマルな言葉遣い」を促すベクトルを加えると、画像側でもフォーマルな服装やデザインが反映されるなど、解釈可能な一貫した変化が生じることを確認した。

モデル内部では文章と画像で表現の隔たりが存在するものの、転移性の高いベクトルは同一概念に対して類似した方向を指す幾何学的な特徴も見られた。研究チームは、視覚と言語が内部でどう相互作用しているかを解き明かす知見であり、入力形式に依存しない新たなAI制御アプローチにつながると指摘している。