小型GPU1台で動くAI公開、判断力ほぼ落とさずメモリ消費を大幅削減

AI開発を手がけるAutoTrust AIは、重み）が一般に公開されているモデルのこと。誰でも自分のパソコンなどにダウンロードして自由に動かしたり改良したりできます。">オープン重みモデル「JEV-35B」の計算負荷を抑えた量子化モデル「autotrust/JEV-35B-NVFP4」を公開した。従来の「bf16」形式で提供されていたモデルの一部を4ビット浮動小数点形式に圧縮したことで、32〜48GBのメモリを持つ単一のGPUでも動作可能にした。

元のJEV-35Bは、40層に配置された256種類、計1万240個のエキスパートMLP（多層パーセプトロン）を備える大規模な混合エキスパート構造を持つ。今回の量子化版では、これらすべてのエキスパートのゲートや射影層を米エヌビディア（NVIDIA）の4ビット浮動小数点フォーマット「NVFP4」へと変換した。一方で、アテンション機構やビジョン機構、各種判定ヘッドなどは元のbf16形式のまま保持している。推論フレームワーク「vLLM」の標準機能でそのまま読み込める形式を採用した。

性能面では、圧縮による精度の劣化を極めて小さく抑えている。意思決定能力を測る「Decision Index」における総合スコアの低下は、元のbf16版と比べてわずか0.57ポイントにとどまった。知識（0.422）、言語（0.628）、検索（0.706）、ツール（0.753）、芸術（0.413）の主要5領域すべてで、bf16版との差は1.2スキルポイント以内に収まっている。

視覚タスクの再構築ベンチマークでは0.85ポイントのわずかな低下が見られたものの、ロボットアームによる物体把持の実機シミュレーションでは20場面中13場面で成功を収めた（bf16版は15場面）。アームがいったん掴んだ立方体をトレイまで運ぶ動作については、13回すべてで完遂している。推論処理の速度に関しても、B200環境での単一リクエスト処理においてbf16版と同等の応答時間を維持している。

AutoTrust AIは、本モデルがTypeSafe AIの商用モデル「TypeSafe Jev 1.13」とは独立したオープン重みモデルであると説明している。ライセンスはApache-2.0が適用されており、高度な判断処理をより軽量なハードウェア構成で検証・運用するための基盤として提供される。