AIが自分で学ぶ学習法、活動する環境の多様化で計算効率が最大1.7倍に

自律的に行動するAIエージェントの学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習において、学習データのどの要素を増やせば効率的に性能を高められるかを解明した研究成果が、論文公開サイトのarXivで発表された。従来の事前学習におけるスケーリング則はデータを単一のトークン数として扱っていたが、エージェントの強化学習では「タスク」「環境」「軌跡（行動履歴）」を独立して生成できるため、限られた予算内でどの軸を優先して拡大すべきかが課題となっていた。

研究チームは、エージェント用データを「タスク」「環境」「軌跡」の3つの軸と報酬密度の制御変数に分解し、複数の大規模言語モデル（LLM）を用いて数学・コード作成、ソフトウェア工学、Web操作、UIツール利用といった領域でスケーリング関係を検証した。PPOやGRPOなどの強化学習アルゴリズム、異なるモデルサイズやファミリを比較した結果、性能向上の寄与度を示すスケーリング指数は一貫して「環境 ＞ タスク ＞ 軌跡」の順になることが確認されたという。

また環境の多様性については、世界全体の多様性と環境構造の多様性に分けた場合、環境の優位性は主に世界全体の多様性によってもたらされ、環境構造の多様性はタスク多様性と同程度にとどまることが分かった。さらに、合成手法の効率を各軸の割引係数としてモデル化し、データ生成の破綻が始まる合成データと実データの臨界比率が軸ごとに桁違いに異なることも特定した。

これらの規則をもとに、研究チームは学習予算の配分を制約付き最適化問題として定式化し、計算効率を最大化する配合指針を導き出した。検証実験では、従来の主流であった軌跡データを優先して増やす手法と比較し、最大1.7倍の計算効率を達成することが実証された。