DeepInfer 上手：可复现推理与结构化输出
指南介绍 DeepSeek 开源推理框架 DeepInfer 的构建、确定性采样及 JSON Schema 输出，支持指定 NVIDIA GPU 和昇腾 NPU 上的离线推理。框架尚缺 KV 缓存系统、预填充与解码分离及副本负载均衡，不能直接视为完整服务栈。
原文暂未完整获取，基于公开信息的快读
DeepSeek 开源了推理框架 DeepInfer。dev.to 的上手指南称，它来自 DeepSeek 大规模生产服务背后的框架，但本次开放的是面向指定硬件的离线推理能力。对程序员而言，最直接的用途是跑通模型、建立可复现的回归测试，以及约束模型按 JSON Schema 输出。
目前能确认什么
按提供的原文节选，DeepInfer 支持 DeepSeek-V4.1-Flash，硬件限定为 NVIDIA SM100 GPU 或 Huawei Ascend 950 NPU。构建需要 Linux、GCC 13.0 及以上、Python 3.12，以及对应平台的 CUDA 13 或 CANN 9.2。
可复现输出有明确条件。指南给出的配置仅适用于 NVIDIA：开启批次不变推理、关闭可变长度草稿 token 解码，再固定 SamplingParams 中的 seq_seed。按指南说明，相同输入 token 和采样参数会得到相同输出，但需要放弃该草稿解码配置带来的加速。
结构化输出支持正则表达式、JSON Schema 和 EBNF 文法。它们用于约束生成格式；格式合规，并不保证字段内容正确。
这次发布还不是完整的在线服务栈。
节选明确列出仍需补齐的组件：KV 缓存系统、预填充与解码分离，以及数据并行副本之间的负载均衡。
我的判断
我更看重它对推理回归测试的帮助。固定测试输入和采样条件后，升级代码前后的输出差异才更容易定位。确定性模式需要牺牲一项加速，因此回归验证与吞吐测试应分别记录配置。
对需要生成接口参数、提取字段的程序，JSON Schema 值得优先验证，但解析成功之后，仍要检查字段值和业务约束。
目前还不能据此承诺跨硬件、跨版本输出一致，也不能确认 Ascend 上具有同等的确定性保证。这些边界需要仓库或官方文档进一步说明；准备上线的团队，还应先明确缺失组件由谁补齐。