小型AIの辞書データを16MBに圧縮、性能を保ったまま普通のPCで5倍以上高速に

小型学習し、次に来る確率の高い単語を予測して文章の理解や作成を行うAIの仕組みのこと。">言語モデルにおいて容量の多くを占める語彙埋め込みテーブルを、わずか16MBの固定データに置き換える研究手法が発表された。モデル全体の軽量化と推論処理の高速化を両立させる狙いがある。

小型モデル「Gemma 3 270M」では、全2億6800万パラメータのうち1億6800万を埋め込みテーブルが占めている。本研究では、主成分射影と符号2値化によって事前学習済み埋め込みから作成した学習パラメータを持たない512ビット符号のテーブルを採用し、20億5000万トークンで学習を実施した。

評価テストのLAMBADAやHellaSwag、PIQAでは従来の学習テーブルと同等以上の成績を記録した。さらにBitNet b1.58と組み合わせた46MBのモデルでは、ノートPCのCPU上で62MBのメモリ消費に抑えつつ毎秒615〜740トークンを生成し、llama.cppの8ビット版と比較してメモリ消費を7分の1に削減しながら5〜6倍の速度を達成した。重みや評価データはすべて公開されている。