AIの学習効率を高める新手法、初期のつまずきを防ぎ性能上限を引き上げ

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルの追加学習において、生成結果が届いた順にモデルを更新する非同期強化学習が注目されている。従来のグループ単位でサンプリングを行うGRPOは生成の長さにばらつきがある環境に適しにくく、単一生成ごとに最適化を行うSAOが提案されていた。しかしSAOは公開されていない大規模な価値モデルに依存している点が課題となっていた。

研究チームは、事前学習済みの価値モデルを用いない軽量版のLiSAOを検証した。その結果、複数ターンのエージェントタスクでは効果を示したものの、価値モデルが未成熟な学習初期に性能が大きく遅れ、推論タスクではGRPOに劣ることが判明した。

この課題に対し、新たに「Li2SAO」と呼ばれる手法が提案された。学習初期はグループ内の相対的な評価を用いてモデルと評価役を同時に立ち上げ、その後に単一生成に基づく更新へ切り替える。実験では学習初期の遅れを解消したうえで、後期の性能上限を引き上げることが確認された。検証用コードも公開されている。