AIで学習文章を書き直す効果を予測　元AIを超える性能も実証

既存の文章をAIによって書き直した学習用データ。人間の書いたデータの枯渇対策や、個人情報を含まない訓練データとして注目される。">合成データを言語モデルの事前学習に用いる際、どれだけの計算資源を配分すべきかを予測する新たなスケーリング則が発表された。書き直されたデータで学習したモデルが、生成元のAIを超える性能を達成できるかも検証されている。

言語モデルを用いた文章の書き直しは事前学習データの作成手法として普及しているが、データ生成に投じるべき計算量や、書き直し用モデルとの性能関係には不明な点が多かった。研究チームは、モデル規模、学習トークン数、学習トークンに占める書き直しデータの比率、自然データの反復回数を基に、書き直しにかかった計算コストも含めて損失を予測するスケーリング則を構築した。

自然データが豊富にある計算制約の環境では、より大規模な外部モデルで書き直したデータを使用した場合、最適な書き直し比率は計算量の増加に伴って上昇することが確認された。計算量が3×10の18乗FLOPsのときは10％未満だった最適比率は、10の22乗FLOPsでは32％に達した。この法則を33倍の計算量へ外挿して220億（22B）パラメータのモデルを学習したところ、最終的な損失は予測値から1.1％以内の誤差に収まり、複数のWeb領域において書き直し用モデルの10分の1の事前学習計算量でその性能を上回った。

また、データ量が限られた環境において同じサイズのモデルで自らの学習データを書き直した場合でも、計算予算に伴って最適比率が増加することが示された。30億（3B）パラメータ以下のすべての規模において、書き直されたデータで学習したモデルは自然データのみで学習した最良の結果を上回った。