40GB 虚拟显卡上的 vLLM 调优记录
作者记录在 vSphere 的 NVIDIA 40GB vGPU 上运行量化模型的 vLLM 调优过程,目标兼顾 25 万 token 上下文与并发请求。文章首先分析 vGPU 预留显存导致模型启动失败的问题,并明确测量环境和版本边界。
AI 深度解读
半张 A100,能不能同时撑起 250k tokens 上下文和多人使用的 AI 编程服务?作者在 NVIDIA vGPU 上运行 vLLM,最终测得单请求 52 tok/s、15 个并发请求合计超过 600 tok/s。关键不是一味调大参数,而是先摸清虚拟 GPU 的显存和接口限制,再保住 CUDA graphs、安排好缓存与请求调度。
这份记录值得读,但不能当成通用配置模板:所有数字来自作者的硬件和 vLLM v0.28.0,而且长上下文容量、单请求速度、多用户吞吐是三件不同的事。
40 GB 显存,为什么连约 24 GB 的模型都装不稳
作者的平台由 vLLM 提供推理、LiteLLM 充当网关,前面再接入口层。Kubernetes 节点使用 vSphere 上的 NVIDIA vGPU,每台虚拟机分配 GRID A100D-40C,相当于半张 A100、40 GB 显存;模型是采用 NVFP4 的 Qwen3.8-27B。
第一个坑是显存口径。运行 nvidia-smi --query-gpu=memory.total,memory.reserved,memory.free --format=csv,总量显示 40960 MiB,但 vGPU 自身预留约 3093 MiB,空闲时实际只剩约 37867 MiB。
vLLM 启动时,会拿空闲显存与「总显存乘以 --gpu-memory-utilization」比较。作者从 0.85 提到 0.91,才挤出更多 KV cache 空间,但已经接近边界。驱动或镜像更新后起不来,作者会先退回 0.85。容器运行时,即使 nvidia-smi 显示 No running processes found,也不能据此判断 GPU 没工作,还要看显存占用。
另一个坑更隐蔽:PyTorch 遇到 OOM 后建议的 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,在作者的 vGPU 上不能用。它依赖 cuMemCreate、cuMemMap 等 CUDA 虚拟内存管理 API,而该环境不支持,第一次张量分配就会报 RuntimeError: CUDA driver error: operation not supported。
物理 GPU 上常见的排障建议,搬到 vGPU 上可能制造新故障。
250k 上下文靠缓存取舍,速度靠保住 CUDA graphs
作者尝试过 --enforce-eager。它关闭 CUDA graphs,能减少部分显存和启动开销,代价是实测慢了 4.8 倍。
作者给出的解释是:Qwen3.8 属于混合架构,每四层才有一层完整注意力,其余是线性/Mamba 风格层,会执行大量小 GPU kernel。逐个启动这些 kernel 有开销,CUDA graphs 可以减少这部分成本;vGPU 上启动开销似乎更突出,但这一点是作者的判断,没有独立对照实验。
长上下文则卡在 KV cache,也就是推理时保存已处理 token 状态的缓存。权重和 CUDA graphs 占完空间后,40 GB 显存只剩几 GB 可用。作者使用 --kv-cache-dtype fp8,相比 bf16 将每 token 的缓存占用减半,才装下 250k 上下文。
代价是精度:fp8 有损,检查点没有提供 KV scales,vLLM 也发出了准确性警告。作者在编程助手、聊天、文档问答中没有察觉差别,但没有给出质量评测。
多模态同样占预算。默认视觉编码器和虚拟图片预热,让 0.85 配置下的进程占用升到 36.6 GiB,并触发 torch.OutOfMemoryError。作者先用 --language-model-only 和 --skip-mm-profiling 关闭视觉,后来把利用率提到 0.91,再移除这两个参数。图片请求跑通了,但 KV cache 从约 349k 降到约 275k tokens,余量很薄。
作者每次改配置都会查看启动日志,通过 kubectl -n vllm logs deploy/vllm-qwen38 | grep -E "GPU KV cache size|Maximum concurrency" 核实容量,而不是只看进程是否启动成功。
多人使用,先解决重复计算和长提示词阻塞
--max-num-batched-tokens 控制 prefill,也就是读取提示词阶段,每个引擎步骤处理多少 token。作者试过调大,但没有加快 prefill,反而挤占 KV cache。
他每隔 100 ms 采样一次 nvidia-smi,发现 GPU 利用率已经达到 94–99%。在这个负载下,计算资源已接近饱和,扩大批次没有更多空闲算力可用,最后回到 4096。原文没有列出完整测试档位和耗时,不能据此认定其他模型也该固定用这个值。
真正有效的是两种复用与调度机制:
前缀缓存通过 --enable-prefix-caching 开启,复用相同提示词前缀的 KV cache。作者报告命中时快了 44 倍,生产命中率约 66%,主要来自编程助手重复发送大段上下文。因此,稳定的 system prompt、文档、示例应放前面,变化内容放后面。原文未交代 44 倍对应的具体延迟指标,不宜把它理解成整条请求都快了这么多。
分块预填充通过 --enable-chunked-prefill 开启,按 4096 tokens 分块读取长提示词,并穿插处理其他请求的生成。它解决的是有人提交 200k tokens 提示词时,其他用户也被拖住的问题。
多实例还有一个前提:LiteLLM 要通过 router_settings 中的 session_affinity pre-call check,把同一会话送回同一实例,才能持续利用该实例里的前缀缓存。
下面是作者最终使用的配置,集中体现了这些取舍:
args:
- "--model"
- "Inferact/Qwen3.8-27B-NVFP4"
- "--served-model-name"
- "qwen3.8-27b-vllm"
- "--gpu-memory-utilization"
- "0.91"
- "--max-model-len"
- "250000"
- "--max-num-seqs"
- "32"
- "--kv-cache-dtype"
- "fp8"
- "--max-num-batched-tokens"
- "4096"
- "--enable-prefix-caching"
- "--enable-chunked-prefill"
- "--enable-auto-tool-choice"
- "--tool-call-parser"
- "qwen3_coder"
- "--reasoning-parser"
- "qwen3"
要盯住 --max-num-seqs 的 32:它是调度上限,不能证明 32 个请求都能同时占满 250000 tokens。KV cache 是共享预算。
两张 vGPU,为什么独立部署反而更适合多人
作者用 --tensor-parallel-size 2 将模型拆到两张 vGPU,最初在 NCCL 启动阶段遇到 Cuda failure 'operation not supported'。
原因是设备报告 CU_DEVICE_ATTRIBUTE_MEMORY_POOLS_SUPPORTED = 0,但 NCCL 截至 2.31 仍会调用 cudaMemPoolCreate。NCCL 2.32.3 才先检查支持情况,并回退到同步分配;vLLM v0.28.0 自带的却是 NCCL 2.30.7。
作者用下面的镜像替换 NCCL 库,解决兼容性问题:
FROM vllm/vllm-openai:v0.28.0
RUN pip install --no-cache-dir --no-deps --force-reinstall nvidia-nccl-cu13==2.32.3 \
&& python3 -c "import ctypes; c = ctypes.c_int(); ctypes.CDLL('libnccl.so.2').ncclGetVersion(ctypes.byref(c)); assert c.value >= 23203, c.value"
USER 2000
关键是直接检查 libnccl.so.2,并断言版本值至少为 23203。torch.cuda.nccl.version() 返回的是 PyTorch 编译时对应的版本,不能确认运行时加载的库。
跑通之后,NCCL 通信器还会在 vLLM 显存检查前占用每卡约 0.4 GiB,因此利用率得降到 0.88。TP=2 的单请求约快 1.4 倍,KV cache 翻倍;但多人使用时,同样两张卡分别部署实例,吞吐反而高出 20–30%。作者解释,vGPU 没有点对点连接,每层同步需要经过主机内存。最终他们保留每卡一个实例,由 LiteLLM 分流。
重启成本也要算进去:首次加载模型约 60 秒,torch.compile 和 CUDA graphs 捕获约 200 秒,总计超过 4 分钟。作者把 VLLM_CACHE_ROOT 设为 /models/hf/vllm-cache,与模型权重共用 PVC,复用编译缓存;startup probe 最多给 20 分钟,progressDeadlineSeconds 设为 1800。版本升级后若启动异常,旧编译缓存也是排查对象。
我的判断
这份记录最有价值的是把显存、延迟、吞吐分开测。调大批次、关闭 CUDA graphs、合并两张卡,都有看似合理的理由,最终却可能损害目标负载。
但 52 tok/s、15 并发超过 600 tok/s,以及 250k 上下文,不能拼成「15 个满长上下文请求同时达到该吞吐」。原文没有提供对应提示词长度、输出长度、首 token 延迟或质量评分。fp8「没察觉差别」也只是经验之谈。
独立实例胜过 TP 的结果,适用于作者的模型能单卡容纳、vGPU 通信受限且服务多人这一组合。换成有高速互联的物理卡,或者模型根本放不进单卡,取舍需要重测。
能拿来做什么
- 自建编程助手后端时,先记录真实空闲显存、KV cache 容量和启动耗时,每次只改一项配置,核实性能收益来自哪里。
- 在前端或 Node 网关组织提示词时,把稳定上下文放前面;部署多个实例时配合会话亲和,减少重复 prefill。
- 为长文档问答开启分块预填充,并观察其他会话的生成是否受阻;评估 fp8 时,用自己的代码和问答样本检查质量。
- 扩容前分别比较单请求速度与多人总吞吐,模型能单卡容纳时,把独立实例作为 TP 的对照方案。