データを手元に置いたまま共同でAIの思考力を育成 通信量を最大621分の1にする技術

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルの推論能力を高める強化学習手法では、データを一箇所に集める必要があるため、機密保持や規制への対応が課題となっていた。研究チームは、生データを外部と共有せずに分散環境で推論能力を学習できる連合学習フレームワーク「Fed-GRPO」を発表した。

同手法は、学習の過程で得られる報酬の統計データを追加コストなしで活用する。学習シグナルが強い拠点を優先して統合する仕組みや、全体の水準と比較して各拠点の弱点を重点的に強化する調整機構、更新情報の重要度に応じて通信量を最適配分する機能を備えている。

数学推論タスクの実験では、従来の連合学習手法であるFedAvgを上回り、データを集約して学習した場合に近い性能を達成した。性能低下なしで通信量を32分の1に削減したほか、厳しい帯域制限下でも緩やかな精度低下にとどめながら最大621倍の通信圧縮に対応したとしている。