9.0
重磅
AI SCORE
模型发布2026-10-16 03:53
英伟达推出百万上下文开放多模态 Agent 模型
MarkTechPost#英伟达#多模态#Agent
Editor brief · 编辑速览
英伟达发布 Nemotron 3.5 Super VL，采用 1200 亿总参数、120 亿激活参数的 MoE 架构，支持百万 token 上下文。据摘要，NVFP4 权重可在单台 DGX Spark 上运行，并同步推出两款 Bolt 边缘模型。
人工智能
NVIDIA 刚刚发布了 Nemotron 3.5 Super VL，这是一款面向全天候运行的企业级 Agent 的开放视觉语言模型。Nemotron 3.5 Super VL 采用 mixture-of-experts（MoE，混合专家）架构，总参数量为 120B，每个 token 激活 12B 参数。它可以读取文本、图像、文档和视频，并在同一个模型中完成推理、调用工具和编写代码。对开发者来说，一个开放的 checkpoint 就能替代原本需要分别部署的文本模型和视觉模型。NVIDIA 还同时推出了两款边缘端模型：Nemotron 3.5 Bolt 74B-A9B 和 Bolt E4B。
规模：总参数量 120B，激活参数量 12B（MoE）。上下文最长支持 1M tokens。
运行硬件：使用 NVFP4 checkpoint 时，可在 1 台 DGX Spark、1 张 H200、2 张 H100 或 1 张 GB200 上运行。同时也发布了 BF16 checkpoint。
性能：在推理、Agent 编程和文档视觉理解方面表现出色。NVIDIA 宣称，其单 GPU 吞吐量最高可达同类开放模型的 5 倍。
最佳成绩：GPQA-Diamond 得分 89.90（NVFP4）。
最差成绩：tau3-bench banking 得分 17.78（NVFP4）。
这是一款开放的多模态 Agent 模型，权重采用 OpenMDW-1.1 许可证发布。NVIDIA 还公开了数据集、训练方案，以及 NeMo Gym 中的 RL 环境。
模型卡列出的输入类型包括文本、图像和视频，输出为文本。视频仅支持最长 2 分钟的 MP4 片段。可以通过 chat template 开启或关闭推理。
模型主干交错使用 Mamba-2、MoE 和 attention 层。每个 MoE 层包含 512 个路由专家。C-RADIO 视觉编码器配合连接器，将图像、文档页面和视频帧送入语言模型主干。
速度提升来自四项技术：
该模型由 Nemotron 3 Ultra 蒸馏而来。NVIDIA 团队表示，模型训练使用了约 26 万亿 tokens。后训练使用了约 380 万个样本，并在数十个环境中开展 RL。持续预训练又加入了 10B 个印度语系 tokens。
以下分数均由 NVIDIA 报告，来自模型卡中的 NVFP4 checkpoint。
| 领域 | 基准测试 | 分数 |
|---|---|---|
| 推理 | GPQA-Diamond | 89.90 |
| 编程 | SWE-bench Verified | 71.07 |
| 编程 | Terminal-Bench 2.1 | 60.80 |
| 网页 Agent | BrowseComp | 77.5 |
| 指令遵循 | IFBench | 71.50 |
| 图表 | CharXiv reasoning | 79.88 |
| 文档 | MMLongBench-Doc | 62.82 |
| 计算机操作 | OSWorld-Verified | 52.3 |
| 长程 Agent | tau3-bench banking | 17.78 |
在 Agent harness 评测中，Super VL 超过了 Nemotron 3 Ultra。它在 Hermes Bench 上得到 63.44%，Ultra 为 56.33%；在 LangChain 评测中得到 87.05%，Ultra 为 84.3%。Ultra 的总参数量约为它的 4.6 倍。
NVIDIA 团队报告，通过 Baseten endpoint 运行 Artificial Analysis 的 Agent 任务时，模型每秒可输出超过 600 tokens。其图表显示，相比 Inkling Small，速度达到 5 倍。
| 特性 | Nemotron 3.5 Super VL | Qwen3.5-122B-A10B | Inkling-Small | Nemotron 3 Ultra |
|---|---|---|---|---|
| 开发者 | NVIDIA | Alibaba Qwen | Thinking Machines Lab | NVIDIA |
| 总参数量 / 激活参数量 | 120B / 12B | 122B / 10B | 276B / 12B | 550B / 55B |
| 上下文 | 最长 1M | 原生 262,144，可扩展至 1,010,000 | 模型卡未披露 | 在 1M 下评测（Ruler @1M） |
| 输入 | 文本、图像、视频 | 文本、图像、视频 | 文本、图像、音频 | 未披露 |
| 许可证 | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 |
| 参考硬件 | 1 台 DGX Spark、1 张 H200、2 张 H100 或 1 张 GB200 | 提供了 8 GPU tensor-parallel 推理服务示例 | 未披露 | 未披露 |
| GPQA Diamond | 89.90 | 86.6 | 89.5 | 未披露 |
| SWE-bench Verified | 71.07 | 72.0 | 80.2（仅使用 bash 的 harness） | 65 至 70.4（使用 5 种 harness） |
| IFBench | 71.50 | 76.1 | 82.2 | 82 |
| CharXiv reasoning | 79.88 | 77.2 | 77.4 | 未披露 |
| BrowseComp | 77.5 | 63.8 | 77.4（使用上下文管理） | 未披露 |
| Terminal-Bench | 60.80（v2.1） | 49.4（v2） | 64.7（v2.1，最佳 harness） | 54（v2.0） |
这些分数均由各厂商自行报告。由于 harness 和基准测试版本不同，几分的差距需要谨慎看待。
Super VL 已在 Hugging Face、OpenRouter 和 ModelScope 上提供，也可以通过 NVIDIA NIM 使用。它支持在 Blackwell 和 Hopper 上通过 vLLM、SGLang 和 TensorRT-LLM 运行。本地运行方案包括 llama.cpp 和 Unsloth。
面向生产环境，Dynamo 部署方案加入了 KV-aware routing。NVIDIA 报告，在 16 张 B200 GPU 上，以每位用户每秒 50 tokens 的速度提供服务时，可服务的用户数达到原来的 8 倍，首 token 延迟降低 85%。
定制方面，可以通过 NeMo AutoModel 进行 SFT 和 LoRA，通过 NeMo RL 进行强化学习。NVIDIA 引用了以下早期结果：
Nemotron 3.5 Bolt 74B-A9B 面向本地 Agent。NVIDIA 的发布说明称，它由 Super VL 蒸馏而来。原生 2-bit 量化使其能够在 RTX 和 DGX Spark 系统上装入 24GB 内存。NVIDIA 表示，它在 PinchBench 上位列同级别开放模型第 1，在 BrowseComp 上位列开放模型第 2。该模型现已在 Hugging Face 上提供，支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。
Bolt E4B 4GB 将于 10 月 23 日推出。它面向运行在 GeForce RTX、Jetson，以及 RTX 或 DGX Spark 上的语音助手和嵌入式 Agent。
120B MoE，激活参数量 12B，支持 1M 上下文，权重采用 OpenMDW-1.1 许可证开放。
一个模型处理文本、图像、文档、视频、工具调用和代码。
NVFP4 checkpoint 可在单台 DGX Spark、单张 H200 或 GB200 上运行。
GPQA-Diamond 得分 89.90，但 tau3-bench banking 仅得 17.78。
Bolt 74B-A9B 为 RTX PC 带来了可在 24GB 内存中运行的本地 Agent 模型。
欢迎查看技术报告、模型卡和使用指南。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们拥有超过 15 万成员的机器学习 SubReddit，并订阅我们的 Newsletter。等等！你用 Telegram 吗？现在也可以在 Telegram 上加入我们了。
Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的创业者和工程师，Asif 致力于发挥人工智能的潜力，造福社会。他最近的创业项目是人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻见长，内容既有扎实的技术基础，也便于广泛读者理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。