AIの動作速度を大幅向上、新基盤「TokenSpeed」を非営利団体が公開

非営利組織のLightSeek Foundationは、自律型AI（エージェント）の処理に特化したオープンソースのLLM推論エンジン「TokenSpeed」を公開した。商用製品の「TensorRT-LLM」並みの処理速度と、オープンソース「vLLM」のような扱いやすさを兼ね備えた本番環境向け基盤を目指す。

TokenSpeedの最大の特徴は、システム制御を担う「制御プレーン」と計算を実行する「実行プレーン」を分離した構造にある。制御プレーンはC++言語と有限状態機械を用いて構築され、データ処理履歴（KVキャッシュ）などの安全なリソース管理を実行時ではなくコンパイル時に検証する。一方、実行プレーンはPython言語で実装され、研究者や開発者が素早く機能改善を進められるように設計されている。この設計についてPyTorch Foundationは、厳密な正確性の担保と開発速度の向上を両立するアプローチとして評価している。

ハードウェア対応では、NVIDIAやAMDの支援を受け、GPUに応じた計算カーネルをプラグインとして柔軟に組み込める構成を採用した。2026年10月の検証では、NVIDIAの最新GPU「GB300」環境において、モデル「Qwen3.8-Flash-Next」で1ユーザーあたり毎秒685トークンの処理を記録したほか、AMDの「Instinct MI355X」への対応も進められている。