超長文を扱う巨大AIの計算速度を最大6.43倍に　精度を維持する新手法が登場

学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルが長い文章を処理する際、記憶領域（KVキャッシュ）とのデータ通信が計算速度の大きな障壁となる。従来の単語単位で計算対象を絞り込む手法では、選択精度の低下や、散らばった情報を集める処理に伴う遅延が課題となっていた。研究チームはこれらの課題を解消する技術「JSSA（Joint Subspace Sparse Attention）」を発表した。

JSSAは、重要な情報を抽出するための共有低次元部分空間を数式的に特定して選択精度を確保する。さらに、散らばった単語の集約処理を必要としない独自の計算カーネルを採用し、GQAやMLAといった多様なモデル構造において、全データを参照する場合に近い精度を維持できるようにした。

NVIDIAのGPU「B200」を用いた検証では、128K文脈において全データを参照する従来手法と比べ、最大6.43倍の推論処理速度を記録した。モデルの追加学習を行わずに高い推論精度を保ち、7000億（700B）パラメータ規模の巨大モデルでも高い性能を発揮したという。