英伟达开放 Run:ai GPU 编排平台源码

人工智能

NVIDIA 已将完整的 NVIDIA Run:ai 平台作为开源软件发布，源码以 Apache 2.0 许可证托管在 GitHub 上。开源后的 NVIDIA Run:ai 将生产环境中的 GPU 调度、配额和工作负载管理能力交到开发者手中。此次发布也让 Run:ai 成为 NVIDIA DSX AI Factory 平台的一部分。平台团队现在无需付费订阅，就能查看源码、创建 fork，并自行托管整套软件。

规模：采用 Monorepo，包含控制平面、集群服务、安装程序、CLI 和 MCP server。本地开发构建涉及约 50 个 Go 服务。

运行环境：配备 NVIDIA GPU 的 Kubernetes 或 OpenShift 集群。本地开发支持 macOS 或 Linux，可模拟 8 张 Tesla-A10 GPU，无需实际 GPU 硬件。

性能：NVIDIA 未公布此次发布的平台级基准测试。

最佳表现：相关项目 Model Streamer 在 Azure 的 8 台 NVIDIA H100 VM 上，将模型加载速度提高到了原来的 3 至 6 倍。

主要不足：社区版不提供 NVIDIA 企业支持。Linux 本地构建需要 16 GB RAM 和 100 GB 磁盘空间。

什么是 NVIDIA Run:ai？

NVIDIA Run:ai 是 NVIDIA 面向 Kubernetes 推出的 AI 工作负载与 GPU 编排平台。它能在共享 GPU 集群中调度开发、训练和推理工作负载。它运行在 Kubernetes 之上，并不取代 Kubernetes。

控制平面负责工作负载提交、资源管理和监控。集群服务运行在各个 Kubernetes 集群中，提供感知 GPU 的调度能力。用户可以通过 Web UI、CLI、REST API，以及面向 AI 助手的 MCP server 使用平台。

4 个模块化组件分别是什么？

NVIDIA 将此次发布拆分为 4 个组件，团队可以分别采用：

• KAI Scheduler 是 Kubernetes 原生调度引擎，采用 Apache 2.0 许可证，也是 CNCF Sandbox 项目。它支持 gang scheduling（成组调度）、基于时间的公平份额分配、拓扑感知、bin-packing（装箱调度）和 DRA。
• GPU Fractioning Operator 将 CUDA 13.4 原生的 GPU 份额划分能力引入 Kubernetes。CUDA 驱动会为每个工作负载强制执行显存硬上限。NVIDIA 已停用旧的专有份额划分方案，转而采用这一方式。该 Operator 不依赖特定调度器，并能导出每个 Pod 的指标。
• KAI Resource Management 增加了项目、部门、配额和节点池管理。NVIDIA 给出的示例为一个研究团队保障了集群 50% 的资源。
• Workload Map 是一个 Go 库，用于描述 PyTorchJob、RayCluster 和 KServe 服务等工作负载类型。它可以离线使用，不负责调度、排队或自动扩缩容。

开发者如何在本地运行 NVIDIA Run:ai？

本地开发指南围绕一个脚本 local-dev.sh 展开。它先在容器内从源码构建约 50 个 Go 服务，再创建一个固定使用 Kubernetes v1.32.5 的 5 节点 Kind 集群。一个模拟 GPU Operator 会模拟 8 张 Tesla-A10 GPU，因此不需要实际 GPU 硬件。

• 支持的主机：采用 amd64 或 arm64 架构的 macOS 或 Linux，不支持 Windows。
• Linux 主机需要 4 个 CPU、16 GB RAM 和 100 GB 可用磁盘空间。
• macOS 上的 Podman VM 至少需要 12 GB RAM。
• 一次完整构建会留下约 44 GB 缓存。

--gpu-operator 参数可切换为使用真实 NVIDIA GPU。该模式需要 Linux、Docker 和 NVIDIA Container Toolkit，不支持 AMD 和 Intel 加速器。

团队如何在生产环境部署？

开发团队可以从源码部署，也可以使用 NGC Community Product Helm chart 部署。该版本无需付费订阅，但不包含 NVIDIA 企业支持。

团队还可以通过 8 家 DSX 生态合作伙伴采用该平台，分别是 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 和 vCluster。提供支持的商业版本仍可通过 NVIDIA AI Enterprise、NVIDIA Mission Control 和部分云市场获取。

同时提供了哪些相关开源项目？

两个相关项目补全了这套软件栈。Model Streamer 将模型权重直接流式加载到 GPU 显存中。vLLM 和 SGLang 可以通过 --load-format runai_streamer 启用它。

Microsoft 公布的基准测试使用了 8 台 NVIDIA H100 VM。结果显示，加载速度是默认加载器的 3 至 6 倍。吞吐量维持在 80 Gbps，而默认加载路径约为 40 Gbps。

Grove 负责编排由多个组件组成的推理工作负载。它将 prefill 和 decode 等组件作为一个整体启动，要么全部启动，要么全部不启动。

NVIDIA Run:ai 与其他开源 Kubernetes 调度器相比如何？

功能	NVIDIA Run:ai（开源版）	Volcano	Kueue	Apache YuniKorn
许可证	Apache 2.0	Apache 2.0	Apache 2.0	Apache 2.0
治理归属	NVIDIA DSX AI Factory 组织（KAI Scheduler：CNCF Sandbox）	CNCF Incubating	kubernetes-sigs（wg-batch）	Apache Software Foundation
覆盖范围	完整平台：控制平面、UI、CLI、REST API、MCP server	批处理调度系统	作业排队控制器	调度器，可替代默认调度器
是否替换 kube-scheduler	否，通过 KAI Scheduler 扩展	未披露	否	是，可作为替代方案
成组调度	支持	支持	基于超时的整体准入，要么全部准入，要么全部不准入	支持
配额层级	项目、部门、节点池	多级队列	Cohort、公平共享	分层队列
GPU 共享	CUDA 13.4 原生份额划分，带显存硬上限	vGPU、动态 MIG	基于 DRA 的 GPU 配额；概述未提及份额划分	未披露
拓扑感知	支持	支持	支持	未披露
多集群	支持，通过控制平面实现	支持	支持，通过 MultiKueue 实现	未披露
Web UI	提供	独立的 dashboard 项目	未披露	未披露

关键区别在于覆盖范围。Volcano、Kueue 和 YuniKorn 专注于调度或排队，而 Run:ai 在调度器之上提供了一套完整的管理平台。

• NVIDIA Run:ai 现已全面开源，采用 Apache 2.0 许可证。
• 4 个组件可独立使用：KAI Scheduler、GPU Fractioning、Resource Management 和 Workload Map。
• GPU 份额划分现在使用 CUDA 13.4 原生显存隔离。
• 本地开发运行在 5 节点 Kind 集群上，配备 8 张模拟 GPU。
• 免费版不包含 NVIDIA 企业支持。

欢迎查看 GitHub 仓库、本地开发指南和 NVIDIA 技术博客。所有功劳归于该项目的研究者。也欢迎在 Twitter 上关注我们，加入我们拥有 150k+ 成员的 ML SubReddit，并订阅我们的 Newsletter。等等！你用 Telegram 吗？现在也可以在 Telegram 上加入我们。

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名富有远见的企业家和工程师，Asif 致力于利用人工智能的潜力造福社会。他最近推出了人工智能媒体平台 Marktechpost。该平台以深入报道机器学习和深度学习新闻见长，内容既有扎实的技术基础，也能让广泛的读者群体轻松理解。平台每月浏览量超过 200 万，体现了它在读者中的受欢迎程度。