データが少ない言語のAI開発、英語を混ぜて学習させると最大13倍の効果

Appleの研究チームらは、学習用データが限られた言語における言語モデルの事前学習において、英語などデータが豊富な補助言語を混ぜる手法が、綿密なハイパーパラメータ調整よりも優れた性能を発揮することを実証した研究成果を発表した。約1000回に及ぶ事前学習の実験を通じて明らかにした。

世界の多くの言語では、言語モデルの事前学習に利用できるデータ量が少なく、同じデータを何度も繰り返して学習させる必要がある。この場合、過学習によって未知のデータに対する汎化性能が低下する問題が生じる。解決策としては、重み減衰（weight decay）を高めるなどハイパーパラメータを調整してモデルの容量を制限する方法と、データが豊富な他言語を混ぜて学習信号を多様化させる方法の2通りが存在していた。

研究チームは、低リソースな対象言語としてアラビア語、補助言語として英語を用い、150M（1億5000万）から1.43B（14億3000万）パラメータまでの4つのモデル規模で体系的な比較を実施した。その結果、言語データを混合する手法は、検証損失と下流タスク正解率の双方でハイパーパラメータ調整を有意に上回り、その性能差はモデル規模が大きくなるほど拡大することが確認された。

効果を定量化したところ、言語データの混合は、検証損失において対象言語データを2〜3倍、下流タスク正解率においては2〜13倍に増やしたのと同等の性能向上をもたらした。また、対象言語の検証損失だけを指標にすると、混合による知識獲得の効果が正しく反映されず、価値を過小評価してしまうことも分かった。研究チームは実務上の推奨として、ハイパーパラメータの探索よりも高リソース言語の混合比率を優先し、設定値は小型モデルからμP経由で転送することを提案している。