DeepSeek开放生产推理框架DeepInfer

人工智能

DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer。DeepSeek DeepInfer 推理框架是 DeepSeek-V4.1-Flash 背后的引擎，采用 Apache 2.0 许可证发布。DeepSeek 同时发布了 deepseek-recipe，这是其采用 MIT 许可证的 token 编解码层。对开发者来说，这是一次难得的机会，可以深入了解前沿 AI 实验室真正使用的服务技术栈。

规模 / 范围：支持 1 个模型（DeepSeek-V4.1-Flash）；根据模型卡，上下文窗口为 100 万 token。

运行硬件：NVIDIA SM100（Blackwell）GPU 和华为 Ascend 950 NPU。基准测试的 prefill 阶段使用 4 张 GPU，decode 阶段使用 64 张 GPU。

性能：具备生产级吞吐量；DeepSeek 表示，1 个集群每天可处理 155 万亿 token。

最佳表现：每个 rank 有 256 个请求时，输出吞吐量超过 25,000 tokens/s/GPU（EP64，上下文长度为 131,072）。

主要短板：仅支持离线推理，未包含 KV cache 系统、P/D 分离和负载均衡。

DeepInfer 是 DeepSeek 为自家模型打造的高性能推理引擎。根据其 GitHub README，它支撑着 DeepSeek 大规模的生产服务。本次发布涵盖离线推理，以及规模化运行所需的核心功能。它最初主要基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM 的思路。

部署 Q&A 提供了生产环境的相关信息：单个集群每天可处理 155 万亿 token。DeepSeek 报告称，按低谷定价计算，每 GPU 小时的整体收入为 38 美元。

DeepInfer 如何工作？

引擎整合了 DeepSeek 的一系列 kernel：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及定制的 TileLang kernel。在此之上，是 5 项系统层面的设计思路。

并行策略：Attention DP 加 Wide-EP

Attention 使用数据并行。MoE 层使用专家并行，并配备专家并行负载均衡器（EPLB）。Decode 在单个超节点内采用 EP64 到 EP128。Prefill 则使用显存允许的最小 EP 规模，通常为 EP2 到 EP8。

DSpark：根据置信度调度的推测解码

Draft model 每步提出 5 个 token。Confidence Head 预测每个 draft token 的接受率，调度器随后只验证最有价值的前缀。根据 Q&A，这让需要验证的 draft token 数量减少了约 30%（从 5.00 降至 3.2 到 4.4）。接受长度几乎没有变化（3.29 对比 3.20）。

缓存命中时，DeepInfer 只重新计算滑动窗口 Attention 状态中最后 128 个 token。因此，无论上下文有多长，重新计算的成本都保持恒定。DeepSeek 表示，在 decoder 层中，这几乎让 prefill 的总计算量减半。

异步调度、确定性与结构化输出

CPU batch 调度与 GPU 执行重叠进行，避免 GPU 在步骤之间空闲。仅 NVIDIA 平台支持 batch 不变性推理和确定性采样。结构化输出支持 regex、JSON schema 和 EBNF 语法。

DeepInfer 有多快？

DeepSeek 发布了 DeepSeek-V4.1-Flash 在 131,072 上下文长度下的 Pareto 曲线。Prefill 使用 4 张 SM100 GPU，decode 使用 64 张。以下数字均从这些图表中读取，由 DeepSeek 自行报告。

Decode（EP64DP64、nextn=3、75% 接受率）：每个 rank 有 256 个请求时，吞吐量超过 25,000 tokens/s/GPU，每位用户的速度接近 100 tokens/s。请求数为 8 时，每位用户的速度超过 300 tokens/s。

Prefill（EP4DP4、140-token bounded replay）：每个 rank 有 4,096 个 token 时，未缓存 token 的吞吐量约为 60,000 tokens/s/GPU。token 数达到 65,536 时，吞吐量接近 90,000，每步耗时约 730 ms。

Wide-EP 的收益：EP8 与 EP64 的对比图显示，EP64 在所有 batch size 下都更快。

每个 rank 约有 60 条序列时，DSpark 的动态验证可将吞吐量提高 4% 到 7%。每个 rank 有 16 条序列时，它比固定验证 5 个 token 慢 1.5%。

DeepInfer 与 vLLM、SGLang 和 TensorRT-LLM 相比如何？

特性	DeepInfer	vLLM	SGLang	TensorRT-LLM
维护方	DeepSeek	vLLM 项目	SGLang 项目	NVIDIA
许可证	Apache 2.0	Apache 2.0	Apache 2.0	Apache 2.0
模型覆盖范围	1 个（DeepSeek-V4.1-Flash）	200 多种架构	LLM、VLM、diffusion	见支持矩阵
硬件	NVIDIA SM100、华为 Ascend 950	NVIDIA、AMD、Intel、CPU，以及包括 Ascend、TPU 在内的插件	NVIDIA、AMD、TPU、Intel、Apple、Ascend、摩尔线程	NVIDIA GPU
专家并行	支持，配备 EPLB	支持	支持	Wide-EP
推测解码	DSpark，根据置信度调度	n-gram、suffix、EAGLE、DFlash	支持，通过 SpecForge draft model 实现	支持
P/D 分离	本次发布未包含	支持（prefill、decode、encode）	通过 llm-d、Dynamo 等实现	支持
在线服务	仅支持离线推理	兼容 OpenAI 的服务器	支持	支持

DeepInfer 有哪些局限？

要搭建完整服务，仍然需要 KV cache 系统，以及 VE/Prefill/Decode 分离，还需要在数据并行副本之间进行负载均衡。DeepSeek 团队表示，这些组件与其内部基础设施紧密耦合。

硬件支持范围较窄。构建需要 Linux、GCC 13 或更高版本、Python 3.12，以及 CUDA 13 或 CANN 9.2。能够高效运行的最小生产单元需要 64 张 prefill GPU 加 64 张 decode GPU。内部使用的 FlashMLA decoding kernel 比公开版本快 5% 到 10%。从端到端表现看，DeepSeek 表示差距不超过 5%。

DeepInfer 是 DeepSeek 的生产推理引擎，如今已在 GitHub 上以 Apache 2.0 许可证发布。

它仅支持 DeepSeek-V4.1-Flash，运行于 NVIDIA SM100 和 Ascend 950。

在 64 张 GPU 上，decode 吞吐量超过 25,000 tokens/s/GPU（自行报告）。

DSpark 将需要验证的 draft token 数量减少约 30%，接受效果基本不变。

仅支持离线推理：不包含 KV cache 存储、P/D 分离或负载均衡器。

欢迎查看 GitHub 仓库、部署 Q&A、deepseek-recipe 和模型卡。所有功劳归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有超过 15 万成员的机器学习 SubReddit，并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在也可以在 Telegram 上加入我们。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的创业者和工程师，Asif 致力于发挥人工智能的潜力，造福社会。他最近推出了人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻而著称，内容既在技术上严谨可靠，也便于广大读者理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。