Nemotron 3.5発表　計算量を4分の1に抑え前身超えるソフト開発性能を達成

学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論や長文の理解、自律的な作業処理に特化したAIモデル群「Nemotron 3.5 Super」および「Nemotron 3.5 Lightning」に関する研究論文が公開された。高い作業性能と運用効率の両立を目的としており、MambaとTransformerを組み合わせた構造や、必要な部分だけを動かすMixture-of-Experts（MoE）方式を採用している。

発表されたモデルのうち、Superは総パラメータ数120B（1,200億）、動作パラメータ数12B（120億）の画像や動画に対応するモデルである。一方のLightningは、総パラメータ数30B、動作パラメータ数3Bのテキスト向け軽量モデルとして設計された。両モデルともに大規模な蒸留や長文対応の訓練、decoding" title="動作が軽くて速い小型AIが文章の続きを素早く下書きし、賢い大型AIがそれを一括で確認・修正することで、文章生成を大幅に速くする技術。">投機的デコーディングを組み込んでいる。さらにSuperでは、テキストのみの基盤モデルから画像、動画、各種ツールと対話しながら推論できるエージェントへと拡張する学習手法が適用された。

実証実験において、Superはソフトウェア開発性能を測る「SWE-bench Pro」で51.78%のスコアを達成した。これは前身の「Nemotron 3 Ultra」に比べ、動作時のパラメータ数が約4.6分の1と軽量であるにもかかわらず上回る水準だという。また、インド系言語のベンチマークでも追加学習により最大9.82ポイントのスコア向上が確認された。

実運用に向けた効率化の検証も進められた。NVFP4量子化の適用時にはBF16形式と比較して中央値で99.62%の精度回復を達成したほか、GB200環境では利用者あたり毎秒50トークン以上の速度を維持しながら、1GPUあたり最大で毎秒4,856トークンの出力性能を記録したとしている。