英伟达扩展本地推理集群与编程模型
DGX Spark 开放最多八台手动组网,128GB 机型集群总统一内存可达 1TB,并更新模型启动与维护工具。英伟达同步推出本地编程模型和量化检查点,称针对特定负载的推理优化最高带来 40% 性能提升。
完整中文译文
DGX Spark 从最多 4 台扩展到手动配置最多 8 台,128GB 版本组网后的统一内存总容量最高可达 1TB。但对做本地 AI 编程的开发者,更有用的消息是:英伟达正在把模型下载、推理优化、OpenCode 接入和设备维护串成一套流程。
这轮更新的方向,是让本地模型更容易部署,也更适合持续运行。不过,40% 提速来自特定模型和工作负载,1TB 也只是集群容量指标。它们离你的实际开发体验,还有几项条件需要核对。
8 台凑出 1TB,能解决多大的模型问题?
据 IT之家报道,英伟达在柏林 GTC 2026 宣布,DGX Spark 集群上限从 4 台提高到 8 台,目前需要手动配置。采用每台 128GB 的版本,统一内存总容量最高可达 1TB。
容量增加,给大型模型的本地部署留出了空间。但原文没有交代跨设备内存如何供模型使用,也没给出互联带宽、通信开销和扩展效率。
集群总容量达到 1TB,不等于模型能像访问单台机器内存一样使用它。
另一条路线是降低模型占用。英伟达发布了量化模型检查点,即把可加载的模型权重压缩到更低精度,目标是在减少内存占用的同时,尽量保持接近全精度模型的准确性:
- Qwen3.8-Flash-Next-FP4-Local 可在单台 128GB DGX Spark 或 RTX PRO 6000 上运行。
- GLM-5.3-Flash-FP4-Local 面向两台系统的配置。
对开发者来说,「目标模型需要几台机器」比总容量更直接。但原文没有提供这些检查点的准确率对照,也没说明长上下文和并发请求会留下多少内存余量。
最高提速 40%,具体快在哪里?
此次优化与 llama.cpp、vLLM 开源社区合作推进,三组数字对应不同条件:
| 硬件与模型 | 优化方式 | 公布的最高收益 |
|---|---|---|
| RTX PRO 6000 Blackwell,Qwen 3.8 Flash Next | llama.cpp 中的多 token 预测(MTP)推测解码 | 端到端智能体任务达到原来的 1.4 倍,即提升 40% |
| DGX Spark,Qwen3.8 27B | vLLM 中的推测解码与 FlashInfer 预填充内核优化 | 相关任务达到原来的 1.3 倍,即提升 30% |
| DGX Station,GLM 5.3 Flash | 原文未展开具体优化 | 吞吐量达到原来的 1.2 倍,即提升 20% |
推测解码可以理解为先提出一批候选 token,再验证能接受哪些,以减少逐个生成的开销。预填充则负责处理输入上下文,长提示词、代码文件都会涉及这一阶段。
这里不能混用指标。端到端智能体任务耗时、相关任务速度和吞吐量,衡量的东西不同。对编程智能体而言,工具调用、执行命令和测试等待也会影响完成时间,不能把某项推理收益直接套到整个工作流。
另一款编程模型 Recursive Flint 采用混合专家(MoE)架构,总参数量 400 亿,激活参数量 25 亿。英伟达称,它在配备 64GB 内存的 RTX Spark 上超过 220 token/s。MoE 每次计算只激活部分专家,但激活参数少,并不代表只需存放这部分权重。原文也没有给出这项速度对应的上下文长度、精度及并发设置。
本地 AI 编程,开始补上部署和维护工具
售价 4,999 美元、报道折合约 33,450 元人民币的 DGX Spark 64GB 版本,计划于 10 月 23 日通过合作伙伴陆续发售。
配套的 Sync Model Launcher 计划在本月晚些时候上线,可按硬件配置下载匹配的模型和容器,再将模型连接至 OpenCode,并自动加载 DGX Spark Skills,提供排障、维护和工作流程指导。10 月版软件更新还加入 Wi-Fi 助手,支持在 appliance mode 下切换无线网络。
这部分对程序员更实际:本地模型能否持续使用,往往取决于部署、连接和维护是否省事。
模型支持范围包括 Nemotron、GLM、DeepSeek、Qwen、MiniMax 和 FLUX.3 Klein,覆盖智能体、编程、图像生成与编辑。不过,「支持某个模型系列」没有说明所有规格都能在所有设备上运行。
DGX Station 则继续面向企业扩展:新增七项管理集成,原文列出 Absolute Security、Splunk、Microsoft Intune 和 Tanium;Windows 版本预计 12 月推出,支持制造业应用及设计、仿真、验证、工程自动化工作流。开放源代码机器人参考工作流和早期访问形式的 NVIDIA Cloud Functions 也在计划中,后者用于通过统一接口共享本地模型服务。
我的判断
我更看好模型、容器、OpenCode 和维护工具的衔接。对日常 AI 编程,少花时间处理运行环境,可能比追求集群容量上限更有价值。
但报道中的性能数字均来自英伟达公布的数据,没有独立实测,也没有完整测试条件,暂时只能视为厂商在特定条件下的结果。与云端模型服务或现有本地推理方案相比,原文没有给出成本、代码质量和任务完成率对照,无法据此判断购买是否划算。
另外,报道交替使用 DGX Spark 和 RTX Spark,未解释两者关系;220 token/s 的设备名称应保留疑问,不能直接套用到前述 DGX Spark 配置。
能拿来做什么
- 评估本地编程模型时,先记录你的代码任务完成率、总耗时和内存峰值,再看 token/s,避免只用生成速度选方案。
- 准备接入 OpenCode 的团队,可以关注 Sync Model Launcher 上线后的模型、容器匹配能力,并用自己的仓库验证完整编程流程。
- 计划部署大型模型时,先核对量化版本的单机或双机要求,再决定是否扩展集群,同时检查上下文长度和并发带来的额外内存需求。