DeepInfer 开源推理栈的能力与部署边界
据文章介绍，DeepSeek 以 Apache 2.0 开源面向 V4.1-Flash 的 DeepInfer，支持两类硬件，并提供推测解码、异步调度和结构化输出。片段同时称其仅支持离线推理、缺少多项在线服务组件，所列生产性能数据未经独立验证。
原文暂未完整获取，基于公开信息的快读
据 dev.to 文章及现有节选，DeepSeek 以 Apache 2.0 开源了面向 DeepSeek-V4.1-Flash 的推理框架 DeepInfer，提供推测解码、异步调度和结构化输出。但节选也明确写到，它目前只支持离线推理。标题中的「生产推理栈」，不能直接理解为下载后就能搭建完整在线服务。
目前能确认什么
按节选描述，DeepInfer 支持 NVIDIA SM100（Blackwell）和 Huawei Ascend 950。两类硬件共用一套代码，但功能覆盖并不完全一致：批次无关的确定性推理目前仅支持 NVIDIA，目标是让相同输入不因批次组成变化而改变输出。
另外两项设计值得研究。DSpark 推测解码先生成候选 token，再利用置信度安排验证；结构化输出则把 regex、JSON schema 和 EBNF 约束放进采样器。后者能约束输出形式，但不能保证字段内容正确。
部署边界也很明确：节选称其没有 KV-cache 系统、没有预填充与解码分离，也没有跨副本负载均衡。构建还依赖指定的编译环境和硬件工具链。
这些能力描述来自文章节选，目前不能视为已经核实的官方承诺。
我的判断
对做 Agent、模型评测或推理平台的程序员，我更关注约束采样、确定性推理和验证调度的实现。它们分别对应输出解析、结果复现和推理计算开销，研究目标比较具体。
直接替换现有在线服务，目前依据不足。离线示例跑通，只能证明对应环境下的离线执行路径可用。
节选同时列出「没有 KV-cache 系统」和生产输入缓存命中率，却没交代二者所属的系统层级；生产指标究竟对应开源代码，还是包含外围服务的内部部署，也没有说清。那些未经独立验证的吞吐、延迟和收入数字，不能拿来推算自己的部署收益。