Nvidia与Palantir联手微调30B Nemotron：超越18倍参数大模型

Nvidia 和 Palantir 宣布在周四表示，双方正在合作将"主权 AI 带入关键供应链"，首批试点即从 Nvidia 自身体量庞大的供应链开始。

这一消息建立在去年 10 月启动的合作关系之上。彼时双方表示，将把 Nvidia 的 AI 计算能力与模型同 Palantir 的软件相结合，帮助企业利用 AI 做出复杂的运营决策。今年 6 月，双方将这一合作扩展至主权 AI，允许组织在严格受控的环境中运行和定制 Nvidia 的 AI 模型，同时对敏感数据和模型权重保持完全控制。如今，他们正将这一技术应用到 Nvidia 内部，并表示一个更小的微调模型已经超越了一个体量更大的模型。

主权 AI 的试验场

两家公司对 Nvidia 300 亿参数 Nemotron 3.5 Lightning 模型进行了微调，训练数据来自 Nvidia 供应链运营团队的决策。Palantir 的 Foundry 和人工智能平台（AIP）汇聚了这些决策背后的数据，而其 Ontology 则充当一张实时地图，将各组件、工厂、产能和生产承诺连接在一起。Nvidia 的 cuOpt 软件则负责计算稀缺零件如何分配，再由 Nemotron 权衡更广泛的上下文并向规划人员给出建议。

双方计划将"从 Nvidia 部署中获取的经验"扩展到其他行业的企业，涵盖制造业、能源、医疗、汽车和航空航天等领域。Palantir 的客户将能够通过使用 Foundry 和 AIP 在其专有数据上训练 Nemotron，构建适合自身供应链的定制版本，然后在本地或通过云和托管服务提供商运行最终系统。

因此，实际上 Nvidia 和 Palantir 正在将双方在 6 月概述的主权 AI 合作框架付诸实践，应用于 Nvidia 内部，同时以该部署作为其他企业可借鉴的架构验证场。

Nvidia 作为测试案例

作为全球市值最高的上市公司（5.4 万亿美元），Nvidia 从自身做起无疑是一个充分的理由。其供应链跨越数百万个零件、数千家供应商以及一个遍布全球的制造合作伙伴网络。公司表示，仅一个 Vera Rubin 机架就包含约 130 万个零件。这些组件必须在正确的时间到达正确的地点：如果某个零件缺失，装配线就会停滞，而其他已到达的零件只能等待。

"供应链是实体经济的操作系统，而 AI 工厂是迄今最复杂的系统之一。"——黄仁勋

"供应链是实体经济的操作系统，而 AI 工厂是迄今最复杂的系统之一，"黄仁勋在一份声明中表示。

Palantir 联合创始人兼 CEO Alex Karp 进一步指出，Nvidia 的运营提供了一个异常苛刻的环境，用于验证双方的方法。

"Nvidia 拥有世界上可能最有价值、最复杂、最精密的供应链。"

"Nvidia 拥有世界上可能最有价值、最复杂、最精密的供应链，"Karp 在另一份声明中补充道。

主权卖点

Nvidia 一直将自己定位在开放模型争议的核心位置。今年 7 月，黄仁勋甚至在其 X 上的首条帖子中推广了一封致华盛顿的行业联署信，呼吁政府支持前沿开源模型，认为这能让企业和国家更好地控制其 AI 基础设施。

随后在 9 月初，Nvidia 以 129 亿美元收购了被称为"AI 模型 GitHub"的 Hugging Face。在外界担忧这家全球主导 AI 芯片制造商的所有权可能损害 Hugging Face 的中立性之际，黄仁勋承诺它将保持开放、继续托管来自整个行业的模型，并支持 Nvidia 以外硬件。

Nemotron 是 Nvidia 自身开放模型战略的核心。这个名字可以追溯到 2023 年，当时 Nvidia 发布了首批 Nemotron-3 8B 模型，供企业定制和微调。这些早期模型可通过 Hugging Face 和 Nvidia 的 NGC 目录下载，但访问受到限制并受 Nvidia 自有社区许可证管理。因此它们虽可定制且权重可用，但 Nvidia 如今使用的更广泛的"开放模型"定位是在后来才形成的。

当前的 Nemotron 3 系列于去年 12 月首次推出，最初涵盖针对不同 AI Agent 任务设计的 Nano、Super 和 Ultra 模型。Nvidia 目前发布权重，对于许多模型还提供训练数据和配方，让开发者可以自行定制。8 月发布的 Nemotron 3.5 Lightning 是这个 300 亿参数模型，Nvidia 和 Palantir 为此次供应链部署对其进行了微调。

这种开放性也是整个主权战略的核心：企业可以使用专有数据对 Nemotron 进行适配，同时将数据、模型权重和推理过程保留在自有环境中。

专业化优于规模

Nvidia 自身的部署给外部提供了一个可参考的结果。数据显示，微调后的 30B Lightning 在供应链分配任务上达到了 86.7% 的准确率，而 550B Nemotron 3 Ultra 的准确率仅为 55.5%——后者是一个体量约为前者 18 倍的模型。

Nvidia 在周四随主要公告发布的一篇技术博客中指出，解决方案架构师 Nell Barber、Rana Haber 和 Aastha Jhunjhunwala 表示，这一结果表明专业化能带来多大的提升：在一个严格定义的分配任务上，30B 模型能够超越一个体量高出一个数量级的通用模型。

"这并不意味着更小的模型整体上更有能力。其收益集中在后训练所在的领域。"

"这并不意味着更小的模型整体上更有能力，"他们补充道。"其收益集中在后训练所在的领域。尽管进行了微调，未来的生产风险预测仍然困难。专业化提升了决策任务，但未能解决与之相关的所有预测问题。

对于有意效仿 Nvidia 这一蓝本的企业而言，这可能是更有意义的收获：一个更小的开放模型，在学习了特定业务的细节之后，有时比简单地使用最大的可用模型更有价值。