AIの文章生成時の記憶メモリを最大10分の1に削減、精度保つ新技術が登場

文章を生成するAIモデルにおいて、計算途中の状態を一時保存するキャッシュのメモリ消費を最大10倍圧縮する新しい注意機構「クロネッカー・プロダクト・アテンション（KPA）」に関する論文が公開された。

従来のモデルでは、生成する文章の長さや学習する際に、一度にまとめて処理するデータの数のことです。数を大きくすると計算の効率が上がりますが、そのぶんコンピュータのメモリを多く消費します。">バッチサイズ、モデルの深さに比例してメモリ使用量が増大し、効率的な運用の妨げとなっていた。既存の圧縮手法には表現力の低下や位置情報の処理が複雑になるなどの課題が存在した。

KPAは、キャッシュに保持する情報を小さな行列のクロネッカー積の和として表現することで、表現力を損なわずにデータ量を圧縮する。さらに、構造化された位置埋め込みを用いることで、複雑な追加機構なしに相対的な位置関係を維持できるようにした。同一の学習条件下で行われた検証では、4つのモデル規模と9つのベンチマークにおいて、既存手法と同等以上の性能を達成した。