在 EKS 上实现单卡多 Pod 显存隔离
教程使用开源 NVIDIA Run:ai GPU Fractioning,让两个显存受限的 Kubernetes Pod 共享一张 A10G。内容覆盖自定义系统镜像、调度器与算子安装,以及每个 Pod 的显存约束和监控验证。
AI 深度解读
一张 GPU 还有空闲显存,两个任务却不能同时启动,问题可能出在 Kubernetes 的资源分配方式。AWS 这篇实践用 NVIDIA Run:ai GPU Fractioning,让两个 Pod 共享一张 A10G,并分别执行 8 GiB 显存上限。
结果很明确:两个 Pod 各自申请 6 GiB 成功,申请 9 GiB 则被拒绝。但它证明的是显存共享和限额生效,没有证明吞吐提升、成本下降或强隔离。对维护模型评估、小型推理服务的团队,这个边界比「一张卡跑多个任务」更值得看。
显存明明够用,为什么第二个 Pod 还在排队
原文先建立了一个整卡调度基线:一台 g5.xlarge,配备一张 NVIDIA A10G,显存为 23,028 MiB。关闭 GPU 共享后,NVIDIA device plugin 把它暴露成一个 nvidia.com/gpu 资源。
两个 Pod 都请求 nvidia.com/gpu: 1,结果只能一个 Running,另一个 Pending。调度器分配的是整张设备,不会因为第一个任务只用了部分显存,就自动把剩余空间交给第二个任务。
GPU Fractioning 在 MPS 上增加了 Kubernetes 调度集成、显存限额执行和按 Pod 统计的指标。可以把它理解成:任务声明需要多少 GPU 显存,调度系统据此安排共享,运行时负责拒绝超额申请。
它与其他方案的区别需要分清:
- MIG 在支持的 GPU 上提供硬件分区,适合需要更强隔离的场景。
- device-plugin time-slicing 允许共享 GPU,但不提供各副本之间的显存或故障隔离。
- MPS 支持 CUDA 进程并发,故障影响范围取决于配置。
- GPU Fractioning 增加每个容器的显存限制,支持默认的 time-slicing,以及
sm-sharing计算模式。
NVIDIA 为默认模式和 sm-sharing 描述了不同的错误域,但这些不是安全保证。原文也没有测试故障隔离。
8 GiB 显存额度,不等于获得相同比例的 GPU 算力。
DRA 则是 Kubernetes 请求和分配设备的一套 API,共享能力仍取决于驱动实现。这次实验使用 NvFractions annotations,没有走 DRA。
两个 Pod 跑起来,还要怎样证明限额有效
这次验证最有价值的地方,是把「能共享」和「超额会失败」分开检查。
安装 KAI Scheduler 后,两个 Pod 都选择 kai-scheduler,不再请求整卡 nvidia.com/gpu。下面这段配置声明了容器的显存需求和上限:
metadata:
annotations:
nvidia.com/container.gpu-workload.gpu-memory.request: 8Gi
nvidia.com/container.gpu-workload.gpu-memory.limit: 8Gi
spec:
schedulerName: kai-scheduler
runtimeClassName: nvidia
要看清 annotation 中的 gpu-workload:它对应容器名称,不能脱离实际工作负载直接照抄。调度器也必须选对,否则不会按这条路径分配资源。
正向测试中,脚本同时核对节点名称和 GPU UUID,确认两个 Pod 使用同一张物理 GPU。每个 Pod 看到的显存都是 8,192 MiB,探针分别成功分配 6,144 MiB。
监控结果比申请量略高。gpu_fractioning_gpu_memory_used_bytes 记录每个 Pod 使用约 6,394 MiB,即约 6.24 GiB,比探针分配量多 250 MiB。CUDA 上下文和运行时可能带来额外开销,但实验没有进一步测量组成,不能把这 250 MiB 当成所有任务都适用的固定值。
反向测试先删除两个共享 Pod,再启动一个同样拥有 8 GiB 额度、尝试申请 9 GiB 的 Pod:
NVIDIA_GPU_MEMORY_LIMIT=8192
requested_allocation_mib=9216
allocation_failed=out of memory
关键是最后一行:cudaMalloc 返回显存不足,探针处理错误后以退出码 0 结束,所以 Pod 状态是 Completed,而非 OOMKilled。这证明分配请求被拒绝,没有证明容器会被强制终止,更没有证明其他故障不会影响邻居。
为什么这套方案还需要自己维护 GPU 镜像
实验使用 Amazon EKS 1.36、Amazon Linux 2023,以及两类节点:m7i.large 运行控制器和调度器,固定为一台的 g5.xlarge 承载 GPU 任务。
麻烦主要来自版本组合。GPU Fractioning Operator 0.1.7 要求 R615 或更新驱动,而验证时 EKS 优化的 AL2023 NVIDIA 镜像提供的是 R580、R595。因此作者用 Packer 构建自定义镜像,由镜像管理驱动和 NVIDIA Container Toolkit。
实测组合还包括 NVIDIA driver 615.71.10、Toolkit 1.20.1-1、containerd 2.3.5、GPU Operator 26.7.1,以及 KAI Scheduler 0.18.5。GPU Operator 的 driver.enabled 和 toolkit.enabled 均设为 false,避免与镜像争夺管理权。节点通过 NRI 接入 fractiond,MPS 执行共享,metricsd 导出指标。
这里有一个容易踩的坑:NVIDIA_DRIVER_VERSION=615.71.10 在样例中选择的是 R615 分支,并没有精确锁定补丁版本。构建实际安装的版本,要读取 .state/installed-driver-version。
作者在 2026 年 10 月 22 日完成验证;11 月 18 日更新 GPU 节点污点后,使用相同驱动镜像重跑了除镜像构建以外的步骤,结果一致。这是实验室验证记录,不是厂商支持认证,也不是永久兼容矩阵。换 GPU 时,只改 GPU_INSTANCE_TYPE 不够,还要重新检查驱动、CUDA、Fractioning 前提和显存余量。
运维边界同样明确:样例依赖预先准备好的固定 GPU 容量,没有验证按显存份额自动扩容。Karpenter 对第二调度器的支持仍对应开放请求 #742;自定义镜像也不能用于由 Amazon EKS Auto Mode 管理的节点。
我的判断
我认可它的验证方法:先证明整卡调度造成等待,再证明两个受限任务能共享同一卡,最后主动越界测试。比只展示两个 Running 状态更有说服力。
但「部署密度提高」不能直接推导成「服务更划算」。两个任务共用计算资源后,延迟、吞吐和尾部抖动都可能变化。原文没有这些对照数据,也没有成本测算,因此收益应当停留在「让符合条件的任务访问已有容量」。
适用前提也不轻。固定 GPU 节点组、自定义镜像、第二调度器,以及使用特权容器、host PID 和主机挂载的守护进程,都增加了维护责任。已有 Kueue 的团队,还得先确定谁负责 GPU 任务排队。
如果只是可信任务之间提高利用率,可以把它纳入候选;如果更关心强隔离,整卡分配或支持硬件上的 MIG 更值得优先评估。普通 time-slicing 的配置目标则不同,不能拿它替代显存限额。
作者没有给出这些方案之间的性能对照,选型建议仍需结合本地负载验证。11 月回归中节点监控代理报告 GPU 健康,也不能据此推断故障检测已经验证通过。
能拿来做什么
- 给团队的小型推理服务或评估任务先测显存峰值,再加上上下文、缓存和批处理余量设置额度,同时测试并发时的延迟与吞吐,不要直接复制 8 GiB。
- 把共享验收拆成整卡基线、额度内成功、额度外失败三步,同时核对 GPU UUID,并保留 request、limit 和实际 usage,避免只看 Pod 状态。
- 在 Node 服务调用内部推理接口的场景中,把共享后的接口延迟纳入验收。显存分配成功,只能说明模型有机会运行,不能说明接口响应满足要求。
- 复现实验后单独执行清理。
./run.sh cleanup会保留 AMI 和 EBS 快照,确认不再需要时才使用./run.sh cleanup-all;删除验证要看到资源不存在,权限错误不能算清理成功。