基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
模型发布2026-11-20 22:44

英伟达开放小型扩散语言模型检查点

MarkTechPost#英伟达#扩散模型#开放权重
Editor brief · 编辑速览

英伟达发布 Nemotron-Labs-Sigma,包含 3B、8B 两种规模的 14 个开放检查点。模型在学习得到的 16 维嵌入空间中去噪,结合少步采样蒸馏,报道宣称解码速度最高达自回归方式的 4.20 倍。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

NVIDIA 发布的 Nemotron-Labs-Sigma,把语言扩散模型的生成过程搬进了连续向量空间。它最值得关注的结果,是 8B 模型压到 8 步去噪后,仍保留了接近 256 步教师模型的基准成绩;另一条自推测解码路线,则在指定硬件上实现了平均 3.46 倍加速。

对程序员来说,这提供了一种观察模型推理成本的新角度:生成文本未必只能逐个 token 向前推进。不过,少步生成、代码能力和部署速度是三件不同的事,原文的数据需要分开看。

连续空间为什么能帮助模型减少生成步数

LLaDA、Dream 等离散扩散模型,直接围绕 token 状态做变化。Sigma 则把每个 token 映射到一个学习得到的 16 维向量,在训练时加入高斯噪声,再让模型学习去噪。向量空间的几何结构与去噪器一起训练。

可以把它理解为:模型先在一块能够平滑移动的空间里调整答案,再把结果读成文字。研究团队认为,这种连续的 ODE/SDE 轨迹更容易引导,也更适合蒸馏成少步模型。原文还提到,嵌入空间中的轨迹引导可以调整 pass@k 采样的质量与多样性取舍,也就是多次生成时,如何兼顾单个答案质量与候选差异。

连续空间的价值,要看减少去噪步骤后还能保留多少能力。

Sigma 的骨干仍是 Ministral 风格的 decoder-only Transformer,包含 grouped-query attention、SwiGLU 和 rotary embeddings。训练先经过约 1T tokens 的自回归预热,再进行约 0.3T tokens 的扩散训练。

生成也没有彻底放弃顺序:它按块处理文本,默认每块 64 tokens,当前块去噪完成后写入 KV cache,再处理下一块。因此,它不是一次并行生成整篇答案。

这次共发布 14 个开放权重检查点,覆盖 3B、8B 两种规模,包括 base、instruct、NFE 为 2、4、8、16 的蒸馏版本,以及 self-speculative 版本。NFE 可以理解为模型求值次数,是衡量生成计算量的重要参数。

8 步接近 256 步,成绩究竟保留了多少

在 NVIDIA 的六任务基础模型评测中,Sigma-8B 使用 256 DDPM steps,平均分为 71.16。对照模型分别是 NLD-8B 的 70.22、Dream-7B 的 58.74、LLaDA-8B 的 41.78,以及自回归模式下 Qwen3-8B 的 68.91。改用 32 步 DDIM,Sigma-8B 仍有 70.18。

更有看头的是 Sigma-distill-8B-nfe8:每个 32-token 块经过 8 次去噪器调用,再加 1 次读出,六任务平均分达到 70.34,其中 GSM8K 为 88.44,HumanEval 为 65.18。至少在这套评测里,减少步骤并没有带来明显的平均分坍塌。

但「代码能力突出」要拆开理解。Sigma-8B 的 HumanEval 为 65.12,高于 NLD-8B 的 62.80;MBPP 却是 65.74,低于后者的 67.00,也低于 Qwen3-8B 的 69.40。单个代码基准领先,不能直接推到仓库级开发能力。

经过监督微调(SFT)后,Sigma-8B-instruct 在 256 DDPM steps 下,GSM8K 达到 91.96,MATH-500 为 78.40,HumanEval 为 82.50。但 AIME24 只有 23.33,AIME25 为 17.00,十任务平均分 59.14,也略低于 NLD-8B 的 59.92。

这些都是 NVIDIA 自己的评测。它们支持「连续扩散有竞争力」,还不足以支持「整体超过同规模模型」。

3.46 倍加速,和普通扩散生成有什么区别

distill-spec 检查点采用自推测解码:扩散头先起草一个 32-token 块,再由同一模型的自回归头验证。原文称,输出与该模型的贪心自回归解码完全一致。

在单张 GB200、使用 SGLang 的条件下,8B 自推测模型相对自回归解码平均加速 3.46 倍,同配置下 NLD-8B 为 3.04 倍。峰值方面,8B 达到 4.20 倍,3B 达到 3.18 倍。

3.46 倍是特定自推测部署的相对加速,不能当成所有 Sigma 检查点的通用表现。

NVIDIA 发布帖还用数学任务每次前向生成 8 tokens、代码任务生成 4 tokens 描述收益。它与完整服务的吞吐量不是同一个指标,原文没有给出足够细节把两者直接换算。

部署门槛也很明确:需要支持 bfloat16 的 NVIDIA CUDA GPU,覆盖 Ampere、Lovelace、Hopper、Blackwell;不支持 CPU,未列出量化版本。加载要求 PyTorch 2.4+、Transformers 4.55+,并启用 trust_remote_code。

基础模型在单张 H100 上约为 120 至 140 tokens/s。蒸馏模型卡列出了 vLLM、SGLang 和 Docker Model Runner,但原文没有展开各版本的接入差异。模型卡另建议使用 guidance 3、temperature 0.3、32 DDIM steps。

基础上下文为 4,096 tokens,Sigma-8B-instruct 为 8,192 tokens。14 个检查点均在 Hugging Face,采用 NVIDIA Nemotron Open Model License,模型卡称可商用;NVIDIA 没有提供托管 API。

我的判断

我更看重少步蒸馏的结果。70.34 与教师模型的 71.16 接近,说明连续空间确实值得继续研究。但原文没有提供完整的延迟、显存、并发和质量对照,不能仅凭平均分接近,就认定成本收益已经成立。

自推测路线也有实际吸引力:验证机制让加速与保留贪心输出可以同时讨论。不过,GB200 上的结果能否迁移到普通团队的 GPU,仍需要实测。原文给出的 H100 吞吐和 GB200 加速倍数,不能拼成一条统一结论。

对前端和全栈团队,4,096 tokens 的基础上下文更是现实限制。原文列出的 Qwen3-8B 上下文为 32,768,使用 YaRN 可达 131,072。处理多文件代码时,Sigma 能容纳多少项目材料,很可能比某项短题基准领先多少更早成为问题。

它适合作为推理路线的研究对象,是否适合接入日常 AI 编程,还缺真实开发任务的证据。

能拿来做什么

  • 如果团队已有 NVIDIA GPU,可以选一组短函数生成、补全和修复任务,对比 Sigma-8B 与 8 步蒸馏版的通过率、响应时间和显存占用,验证少步生成是否带来实际收益。
  • 如果用 Node 搭建模型调用服务,可以先核对 vLLM 或 SGLang 对目标检查点的支持,再固定采样参数做比较,并记录硬件、块大小和生成长度。
  • 如果想尝试自推测解码,应先验证它与自身贪心自回归输出的一致性,再测业务输入上的加速,避免直接套用 GB200 的 3.46 倍结果。
  • 如果任务需要携带多个前端文件,应先检查 4,096 或 8,192 tokens 是否够用;长上下文需求明显时,把上下文容量纳入模型筛选的第一轮。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 MarkTechPost,原文版权归原作者所有。

阅读原文
上一篇
Agent 反馈闭环如何避免无效自评
下一篇
在智能体执行循环中逐步校验工具结果

资讯速览

MarkTechPost · 2026-11-20 22:44

AI 评分 8.0 / 10

相关标签

#英伟达#扩散模型#开放权重

继续阅读

  • AI 接口停服清单提醒迁移模型与提示词
  • Agent 反馈闭环如何避免无效自评
  • 在智能体执行循环中逐步校验工具结果
  • 用内部 MCP 注册表管理团队工具接入
  • AI 原型走向生产,先把验收标准写清楚