英伟达开放小型扩散语言模型检查点
英伟达发布 Nemotron-Labs-Sigma,包含 3B、8B 两种规模的 14 个开放检查点。模型在学习得到的 16 维嵌入空间中去噪,结合少步采样蒸馏,报道宣称解码速度最高达自回归方式的 4.20 倍。
AI 深度解读
NVIDIA 发布的 Nemotron-Labs-Sigma,把语言扩散模型的生成过程搬进了连续向量空间。它最值得关注的结果,是 8B 模型压到 8 步去噪后,仍保留了接近 256 步教师模型的基准成绩;另一条自推测解码路线,则在指定硬件上实现了平均 3.46 倍加速。
对程序员来说,这提供了一种观察模型推理成本的新角度:生成文本未必只能逐个 token 向前推进。不过,少步生成、代码能力和部署速度是三件不同的事,原文的数据需要分开看。
连续空间为什么能帮助模型减少生成步数
LLaDA、Dream 等离散扩散模型,直接围绕 token 状态做变化。Sigma 则把每个 token 映射到一个学习得到的 16 维向量,在训练时加入高斯噪声,再让模型学习去噪。向量空间的几何结构与去噪器一起训练。
可以把它理解为:模型先在一块能够平滑移动的空间里调整答案,再把结果读成文字。研究团队认为,这种连续的 ODE/SDE 轨迹更容易引导,也更适合蒸馏成少步模型。原文还提到,嵌入空间中的轨迹引导可以调整 pass@k 采样的质量与多样性取舍,也就是多次生成时,如何兼顾单个答案质量与候选差异。
连续空间的价值,要看减少去噪步骤后还能保留多少能力。
Sigma 的骨干仍是 Ministral 风格的 decoder-only Transformer,包含 grouped-query attention、SwiGLU 和 rotary embeddings。训练先经过约 1T tokens 的自回归预热,再进行约 0.3T tokens 的扩散训练。
生成也没有彻底放弃顺序:它按块处理文本,默认每块 64 tokens,当前块去噪完成后写入 KV cache,再处理下一块。因此,它不是一次并行生成整篇答案。
这次共发布 14 个开放权重检查点,覆盖 3B、8B 两种规模,包括 base、instruct、NFE 为 2、4、8、16 的蒸馏版本,以及 self-speculative 版本。NFE 可以理解为模型求值次数,是衡量生成计算量的重要参数。
8 步接近 256 步,成绩究竟保留了多少
在 NVIDIA 的六任务基础模型评测中,Sigma-8B 使用 256 DDPM steps,平均分为 71.16。对照模型分别是 NLD-8B 的 70.22、Dream-7B 的 58.74、LLaDA-8B 的 41.78,以及自回归模式下 Qwen3-8B 的 68.91。改用 32 步 DDIM,Sigma-8B 仍有 70.18。
更有看头的是 Sigma-distill-8B-nfe8:每个 32-token 块经过 8 次去噪器调用,再加 1 次读出,六任务平均分达到 70.34,其中 GSM8K 为 88.44,HumanEval 为 65.18。至少在这套评测里,减少步骤并没有带来明显的平均分坍塌。
但「代码能力突出」要拆开理解。Sigma-8B 的 HumanEval 为 65.12,高于 NLD-8B 的 62.80;MBPP 却是 65.74,低于后者的 67.00,也低于 Qwen3-8B 的 69.40。单个代码基准领先,不能直接推到仓库级开发能力。
经过监督微调(SFT)后,Sigma-8B-instruct 在 256 DDPM steps 下,GSM8K 达到 91.96,MATH-500 为 78.40,HumanEval 为 82.50。但 AIME24 只有 23.33,AIME25 为 17.00,十任务平均分 59.14,也略低于 NLD-8B 的 59.92。
这些都是 NVIDIA 自己的评测。它们支持「连续扩散有竞争力」,还不足以支持「整体超过同规模模型」。
3.46 倍加速,和普通扩散生成有什么区别
distill-spec 检查点采用自推测解码:扩散头先起草一个 32-token 块,再由同一模型的自回归头验证。原文称,输出与该模型的贪心自回归解码完全一致。
在单张 GB200、使用 SGLang 的条件下,8B 自推测模型相对自回归解码平均加速 3.46 倍,同配置下 NLD-8B 为 3.04 倍。峰值方面,8B 达到 4.20 倍,3B 达到 3.18 倍。
3.46 倍是特定自推测部署的相对加速,不能当成所有 Sigma 检查点的通用表现。
NVIDIA 发布帖还用数学任务每次前向生成 8 tokens、代码任务生成 4 tokens 描述收益。它与完整服务的吞吐量不是同一个指标,原文没有给出足够细节把两者直接换算。
部署门槛也很明确:需要支持 bfloat16 的 NVIDIA CUDA GPU,覆盖 Ampere、Lovelace、Hopper、Blackwell;不支持 CPU,未列出量化版本。加载要求 PyTorch 2.4+、Transformers 4.55+,并启用 trust_remote_code。
基础模型在单张 H100 上约为 120 至 140 tokens/s。蒸馏模型卡列出了 vLLM、SGLang 和 Docker Model Runner,但原文没有展开各版本的接入差异。模型卡另建议使用 guidance 3、temperature 0.3、32 DDIM steps。
基础上下文为 4,096 tokens,Sigma-8B-instruct 为 8,192 tokens。14 个检查点均在 Hugging Face,采用 NVIDIA Nemotron Open Model License,模型卡称可商用;NVIDIA 没有提供托管 API。
我的判断
我更看重少步蒸馏的结果。70.34 与教师模型的 71.16 接近,说明连续空间确实值得继续研究。但原文没有提供完整的延迟、显存、并发和质量对照,不能仅凭平均分接近,就认定成本收益已经成立。
自推测路线也有实际吸引力:验证机制让加速与保留贪心输出可以同时讨论。不过,GB200 上的结果能否迁移到普通团队的 GPU,仍需要实测。原文给出的 H100 吞吐和 GB200 加速倍数,不能拼成一条统一结论。
对前端和全栈团队,4,096 tokens 的基础上下文更是现实限制。原文列出的 Qwen3-8B 上下文为 32,768,使用 YaRN 可达 131,072。处理多文件代码时,Sigma 能容纳多少项目材料,很可能比某项短题基准领先多少更早成为问题。
它适合作为推理路线的研究对象,是否适合接入日常 AI 编程,还缺真实开发任务的证据。
能拿来做什么
- 如果团队已有 NVIDIA GPU,可以选一组短函数生成、补全和修复任务,对比 Sigma-8B 与 8 步蒸馏版的通过率、响应时间和显存占用,验证少步生成是否带来实际收益。
- 如果用 Node 搭建模型调用服务,可以先核对 vLLM 或 SGLang 对目标检查点的支持,再固定采样参数做比较,并记录硬件、块大小和生成长度。
- 如果想尝试自推测解码,应先验证它与自身贪心自回归输出的一致性,再测业务输入上的加速,避免直接套用 GB200 的 3.46 倍结果。
- 如果任务需要携带多个前端文件,应先检查 4,096 或 8,192 tokens 是否够用;长上下文需求明显时,把上下文容量纳入模型筛选的第一轮。