ローカルPCで動く画像・言語AI　24GBの環境でウェブ操作など高速化

研究チームは、手元環境での自律的な作業実行に特化した視覚言語モデル「Nemotron 3.5 Bolt 74B-A9B 24GB」を発表した。本モデルは「Nemotron 3.5 Super VL 120B-A12B」をベースに開発され、限られたメモリ容量の環境で動作速度と処理性能の両立を目指している。

アーキテクチャにはMambaとTransformerを組み合わせた構成を採用し、独自の圧縮技術「Star Elastic」と2ビットの量子化を伴う蒸留を適用した。さらに、目標とする推論速度を達成するため「LiLiCorr」と呼ばれる投機的ドラフターも同時に公開されている。これにより、推論やツールの呼び出し、ウェブ閲覧、端末操作の処理に最適化されている。

性能面では、「GDPVal v2」や「BrowseComp」、「Terminal-Bench 2.1」などのベンチマークにおいて、同等メモリ帯の先端モデルを上回る精度を達成した。ハードウェア「RTX Spark」環境下で毎秒84トークンの処理速度を記録しており、長時間の自律作業にも十分対応できるとしている。