AIの記憶データを9割削っても回答精度を維持する新技術、最大4.9倍の性能改善

長文を扱う大規模言語モデルの推論において、メモリ消費を大幅に削減する圧縮手法「MoEZip」に関する研究論文が公開された。

複数の専門構造を切り替えて処理する「MoE」型の大規模言語モデルは高い効率性を持つが、入力文が長くなると記憶領域（KVキャッシュ）が線形に増大し、メモリを圧迫する課題があった。従来の圧縮手法では、記憶データを削減する過程で専門構造の割り当てが変化してしまい、回答の品質が劣化する問題が見落とされていた。

研究チームが提案した「MoEZip」は、ルーティング分布のフィッシャー情報行列を用いた指標を導入し、アテンションの重みと組み合わせることで割り当ての変化を抑制しながら記憶データを削減する。検証実験において、記憶データの保持率を10%まで削減した場合でも、「LongBench」で平均24ポイント（2.3倍）、「RULER」で平均20ポイント（4.9倍）既存水準を上回る性能を示した。