画像や動画と音声を1つのAIで丸ごと処理、性能も向上する新技術

画像、動画、音声、および音声付き動画を、学習で調整される膨大な数値。「7B」は70億個の意味で、多いほど賢くなる傾向があるが動かすコストも増える。">パラメータを完全に共有した単一のモデル「SigLIP-2 Vision Transformer」で同時に処理する汎用マルチモーダルエンコーダ「Omni-Encoder」に関する論文が発表された。従来は各モダリティのエンコーダを独立して学習させ、後から固定の空間へ結合する手法が一般的だったが、提案手法では全モダリティを入力から学習まで一貫して共同最適化する。

設計面では、メルスペクトログラムを視覚パッチと整合するトークンへ変換する1次元畳み込み音声トークナイザを導入した。さらに絶対タイムスタンプに基づく位置埋め込み技術を用い、映像フレームと音声断片を共通の時空間座標系に配置する。学習時は各モダリティのデータを交互に読み込んで勾配を蓄積し、一度に更新することで最適化を安定させた。

4つのモダリティを網羅する16のベンチマークにおいて競争力のある成果を達成し、個別に学習させた場合よりも共同学習によって各モダリティの性能が向上したという。関連コードとモデルは今後一般公開される予定である。