DeepSeek、自社の大規模AIを動かす高速処理基盤を無料公開

DeepSeekは、自社の大規模な商用サービスを支える推論フレームワーク「DeepInfer」をオープンソースソフトウェアとして公開した。ライセンスにはApache License 2.0が適用されている。

DeepInferは大規模運用のオフライン推論に対応し、FlashMLAやDeepGEMMといった最適化カーネル群、各種の並列処理技術、CPU側のバッチ処理とデバイス側の実行を重ね合わせる非同期スケジューリング機能を備える。さらに、JSONスキーマや正規表現による構造化出力のほか、同一入力に対して同一の出力を再現する決定論的サンプリング機能（NVIDIA環境限定）なども搭載する。

本フレームワークは主にvLLMをベースに構築され、SGLangやTensorRT-LLMからも着想を得て開発された。動作環境としてPython 3.12が必要で、標準モデルとして「DeepSeek-V4.1-Flash-1017」がダウンロードされる設計となっている。なお、ベンチマークはSM100 GPUを用い、prefill処理に4基、decode処理に64基の構成で計測された。完全な推論サービスの構築に必要な負荷分散や処理分離機能の一部は、今回の初期リリースには含まれていない。