AI学習の新手法「Muon」の仕組みが判明、珍しい作業も効率よく習得

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデル（LLM）の学習向けオプティマイザとして利用が広がる「Muon」について、その理論的な仕組みと有効性を分析した研究論文が公開された。Muonは実用面で注目を集める一方で、なぜ学習を加速できるのかという理論的基盤の解明が遅れていた。

分析によると、従来の等方的なノイズを想定した環境では、Muonは学習率の調整以上の加速効果をもたらさないことが理論と実験の双方で示された。そこで頻度の異なる複数タスクを扱う学習環境を調査したところ、Muonはタスク出現頻度への依存度を線形から平方根へと緩和し、頻出タスクと希少タスクの学習バランスを保つ働きを持つことが明らかになった。

さらに、類似手法であるSignSGDで発生する負の転移を回避する点や、モメンタムがサンプリングノイズを抑える仕組みも解明した。制御環境での数値実験に加え、予備的なLLM事前学習を通じて実用的な有望性を確認したとしている。