グーグル、人間の睡眠のように休みながら新しい知識を学び続けるＡＩ技術を発表

米Googleの研究チームは、学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルが過去の知識を失わずに新しい情報を学び続けられる新たな学習パラダイム「sleepフレームワーク」を発表した。人間の脳が休息中に記憶を整理・定着させる仕組みに着想を得たもので、モデルが入力を処理する稼働状態と、オフラインで記憶を定着させる休止状態を定期的に切り替える構成をとる。

従来の言語モデルは学習完了後に知識が固定され、新しい情報に適応させようとパラメータを更新すると過去に学んだ知識が破壊される「破滅的忘却」が課題となっていた。今回の手法では、稼働中に一時記憶した情報を、休止状態において「記憶の定着」と「夢を見る段階（ドリーミング）」の2段階で処理する。休止中にはあらかじめ割り当てられたMixture-of-Experts（MoE）構造のブロックを活用し、強化学習や蒸留技術を組み合わせて長期記憶へと移行させるとともに、合成データの生成と選定を通じて自律的な自己改善を行う。

検証実験では複数の指標で従来手法を上回る成果を確認した。未学習言語の翻訳では段階的な学習による性能低下をほぼゼロに抑えたほか、長文読解ベンチマーク「BABILong」では最大1,000万トークンまでの情報保持を実証した。事実知識の取り込み評価では単一タスクで48.9％、継続事前学習で46.2％を記録した。さらに数学推論ベンチマークの「AIME 24」「AIME 25」「HMMT 25」においてそれぞれ79.2％、69.0％、46.1％の正答率を達成し、教師あり微調整や既存の強化学習手法を上回ったとしている。