文章や画像と音声を学ぶAI、最適な組み合わせ方を268回の実験で解明

テキスト、画像、音声の3種類のデータを同時に学習工程。数か月と巨額の計算費がかかる。">事前学習するAIモデルを巡り、データを混ぜ合わせる最適な比率や互いの干渉関係を体系化したスケーリング則に関する研究論文が公開された。複数種類のデータを統合して事前学習する手法は普及しているものの、最適な混合比率や干渉の科学的知見は十分に共有されてこなかった。

研究チームは、異なる種類のデータ同士の干渉を抑えやすいMixture-of-Experts（MoE）構造を採用。4億5700万から83億パラメータのモデル規模にわたり、最大1500億トークンを用いて計268回の実験を実施した。

検証の結果、計算効率の最適解はモダリティごとに異なることが判明した。音声はデータ量よりもモデルのパラメータ規模の拡大が有効である一方、テキストと画像はデータ量とモデル規模をバランスよく拡大する必要がある。また、画像や音声を2倍を超えて繰り返し学習させても性能向上はわずかであることや、画像が音声の学習を強く妨げる一方で音声から他への干渉は極めて小さいという非対称性も明らかになった。