家庭用パソコンで超巨大AIを高速に動かす新ソフト「FreeToken」公開

FlashMLは、消費者向けハードウェア上で2900億パラメータを超える規模のオープンウェイト型AIモデルをローカル環境で実行できる推論エンジン「FreeToken」を公開した。ゲーミングPCや一般的なノートパソコンなど手持ちの計算資源を活用し、高速に対話形式で動作させることを目指している。

FreeTokenは、GPUやCPU、ホストメモリなどの異なる計算資源を統合した推論基盤として扱う。帯域幅に応じたCPUとGPUの協調実行や、エンジンの再起動や重みの再読み込みを行わずにGPUメモリの割り当てを動的に変更するメモリ管理機構を備える。また、ツール呼び出しなどによる文脈の編集時に重複した再計算を防ぐキャッシュ機能や、独自の高速な重みフォーマットを採用した。

対応モデルにはDeepSeek-V4-FlashやQwen3.6-35B-A3B、GLM-5.2などが挙げられ、MXFP4やFP8などの各種量子化形式をサポートする。OpenAIやAnthropic互換のAPIを備えており、各種コーディングエージェントとの連携も可能だ。ハードウェアはNVIDIAのRTX 30、RTX 40、RTX 50シリーズをネイティブサポートし、WindowsおよびLinux向けに操作画面（GUI）付きで提供されている。なお、開発にあたってはmini-sglangに着想を得て、vLLMやllama.cppなどの既存プロジェクトの設計やコードを活用したという。