AIの応答を速くする基盤ソフトに2000人超が参加、200種以上のモデルに対応

大規模言語モデル（LLM）の推論と運用を高速化するオープンソースライブラリ「vLLM」の開発コミュニティが拡大している。開発には多数の学術機関や企業から2000人以上の開発者が参加しており、200種類以上のモデルアーキテクチャに対応する基盤として利用が広がっている。

vLLMは、カリフォルニア大学バークレー校のSky Computing Labで開発が始まった。アテンションのキーと値のメモリを効率的に管理する「PagedAttention」技術を中核に、リクエストの継続的なバッチ処理（Continuous batching）やプレフィックスキャッシング、decoding" title="動作が軽くて速い小型AIが文章の続きを素早く下書きし、賢い大型AIがそれを一括で確認・修正することで、文章生成を大幅に速くする技術。">推測デコーディングなどの機能を備える。これにより、モデル実行時のメモリ効率とスループットを向上させている。

対応モデルはLlama、Qwen、Gemmaといった標準的なモデルに加え、MixtralやDeepSeek-V3などの専門家混合（MoE）モデル、LLaVAやQwen-VLなどのマルチモーダルモデル、埋め込みモデルまで多岐にわたる。量子化技術もFP8やINT4、GGUFなど幅広くサポートする。

ハードウェア面ではNVIDIAやAMD、IntelのGPUのほか、各種CPU、Google TPU、Intel Gaudi、Apple Siliconなど多様な環境に対応する。さらにOpenAI互換のAPIサーバー機能やAnthropic Messages API、gRPCのサポートも備えている。