英伟达开源裸金属 GPU 集群管理组件
英伟达以 Apache 2.0 许可开源 NVKE 和 NVKR,支持在自有裸金属 GPU 服务器上运行托管式 Kubernetes 服务。两个项目目前均处于公开预览阶段。
AI 深度解读
NVIDIA 开源的 NVKE 和 NVKR,瞄准的是一件具体的事:让拥有 NVIDIA GPU 裸金属服务器的运营方,自己提供托管 Kubernetes 服务。前者负责创建和管理集群,后者负责构建集群运行所需的软件制品,两者都采用 Apache 2.0 许可证。
值得关注的是,它们把上游 Kubernetes、GPU 基础设施和可验证的构建产物串在了一起。但原文没有公布性能测试,两个项目也都处于 public preview。对普通开发者,这更适合用来理解 GPU 云平台如何搭建;对平台团队,则是一套需要认真检查安全和运维缺口的候选方案。
NVKE 管集群,NVKR 管集群里运行什么
NVKE 的定位是托管 Kubernetes 服务的管理平面。运营方把它部署到自己的 NVIDIA GPU 基础设施上,再通过 REST API 或 nvkectl CLI 管理客户集群;客户拿到的是标准 Kubernetes 集群,继续使用 kubectl。
它基于 upstream Kubernetes、kubeadm 和 Cluster API,用 Go 编写。仓库将其称为「创建 Kubernetes 集群的自托管工厂」,没有把自己定位成另一套 Kubernetes 发行版。这里的区别在于:它重点解决如何批量交付和管理集群,而非重新定义集群内部的使用方式。
NVKR 则是一套构建系统,通过声明式 Definitions 生成可执行文件、容器镜像、Helm charts 和节点镜像,支持 amd64、arm64。Recipes 描述经过验证的软件版本与 GPU 代际组合,帮助运营方确定一组能配合工作的组件。
托管构建工作流还会为按摘要固定的 OCI 引用附加签名、软件物料清单(SBOM)和来源证明(provenance)。大白话解释,就是不仅交付一个镜像,还要交代它包含什么、从哪里构建而来,以及拿到的是否为同一份产物。
NVKE 管理集群,NVKR 构建并签署集群运行所需的制品。
不过,两者没有强制绑定:NVKE 运行时不依赖 NVKR,NVKR 也可以为其他 Kubernetes 管理系统构建产物。
一套托管服务,为什么需要这么多服务器
NVKE 的启动过程分为 5 个阶段。首先在引导主机上执行 nvkectl bootstrap site,启动临时的单节点 kind 集群;随后向 NVIDIA Infra Controller(NICo)申请 3 台服务器,用节点镜像启动管理集群,再删除临时集群。
接下来,NICo 负责裸金属服务器生命周期,Cluster API provider CAPNICo 将它接入 NVKE。运营方发布 machine image、cluster release 和 node pool release,客户按名称选择 release,最终获得自己的工作负载集群。
每个客户集群都有独立的控制平面、etcd 和节点池。NVKE 同时安装 OVN-Kubernetes 与 NodeLocal DNSCache。工作负载集群内还接入 3 个配套项目:AI Cluster Runtime(AICR)处理 GPU runtime,NodeWright 管理节点软件包,NVSentinel 负责故障修复自动化。
这种架构的资源门槛需要看清:管理集群占用 3 台 CPU 服务器,每个工作负载控制平面再占用 3 台 CPU 服务器,GPU worker nodes 另算。
本地评估要求低一些:1 台 Linux 主机或 VM,至少 6 CPUs、12 GiB 可用内存、100 GiB 可用磁盘,并具备 Docker 和虚拟 TPM 支持。无需 GPU,也不需要 NVIDIA 账号。这里的 6 CPUs 是本地资源要求,不能理解成需要 6 台服务器。
真实部署还需要已有容量登记的 NICo、支持 KVM 的构建主机、HTTP server 和 registry。它适合有基础设施运营能力的团队,接入成本显然超过安装一个应用依赖。
认证能说明兼容性,不能证明性能和生产可用性
原文给出的质量信号,是 Certified Kubernetes AI Platform 和 Certified Kubernetes Installer,以及 Kubernetes 1.36 一致性测试。没有吞吐量数据,也没有集群创建耗时测试,因此无法据此判断它比其他方案更快。
安全设计中,有一个具体亮点:节点必须先出示经过证明的 SPIFFE 身份,才能获得加入集群的凭据。README 说明,SPIRE 使用 TPM 完成相关证明。此外,支持按集群启用 etcd 加密,并通过基于 OpenTelemetry 的 Helm chart,以 OTLP 导出日志、指标和追踪。
但节点身份安全,并不能替代管理 API 的访问控制。
安装后的 NVKE API 默认通过端口 30080 提供明文 HTTP,且关闭认证。
原文还指出,目前没有管理平面的升级或备份流程,NVKR 也尚无经过资格验证的 Release。这些缺口直接影响长期运营,不能靠一致性认证补齐。
Firmus 和 SK Telecom 正在将两者集成进 AI factories;Mirantis、Rafay、Spectro Cloud、OpenNebula Systems 和 vCluster 在托管 Kubernetes 产品中加入相关组件,Netris 则推进网络自动化集成。这说明生态合作已经开始,但原文没有提供它们的生产运行规模、故障记录或长期维护数据。
我的判断
我认可它把集群管理与制品构建分开的设计。平台团队既要回答「集群怎么创建」,也要回答「节点到底运行哪组软件」。NVKE 与 NVKR 分工明确,又允许分别使用,便于接入已有流程。
但原文没有对照实验,不能把设计完整度当作性能优势。签名、SBOM、TPM 身份证明各自解决部分问题,API 默认无认证、升级与备份流程缺失则是另一组尚未解决的问题。
与替代方案比较,也要先看基础设施。NVKE 面向通过 NICo 管理的 NVIDIA GPU 裸金属;Gardener 覆盖 AWS、Azure、GCP、OpenStack、Alicloud 等环境,控制平面运行在 seed clusters 的 Pod 中,原文列出的认证最高到 v1.35,并称其自述已具备生产条件。Kamaji 聚焦托管控制平面,控制平面同样运行在 Pod 中,还可以共享 Datastore,并与 Cluster API providers 配合。
因此,已有多云需求的团队,应先判断 NVKE 的基础设施范围是否匹配。原文对 Gardener、Kamaji 的部分身份与构建能力标注「未披露」,这不能解释为它们没有这些能力。
能拿来做什么
- 如果负责 GPU 平台选型,可以先用无 GPU 的本地 quickstart 验证集群创建、release 选择和客户访问流程,再评估 NICo 与现有裸金属管理方式的衔接成本。
- 如果负责平台安全评审,应分别检查节点加入凭据、API 认证、传输加密、etcd 加密和制品签名,不要用某一项安全能力代表整个平台已就绪。
- 如果团队已经维护 Kubernetes 节点镜像,可以单独研究 NVKR 的版本组合、摘要固定、SBOM 和来源证明流程;采用这些构建思路不要求同时采用 NVKE。
- 如果只是为前端或 Node 服务寻找部署环境,可以把关注点放在标准 Kubernetes 接口和平台服务边界上。是否引入 NVKE,应由 GPU 基础设施与托管集群需求决定。