量化 70B 模型为何仍会撑爆 48GB 显存
4 位量化的 70B 模型权重约占 38.5–40 GB,推理时还需要为 KV 缓存、激活值和 CUDA 运行时留出显存。文章以 8 路并发和 8K 上下文为例说明显存溢出的原因。
AI 深度解读
70B 模型做了 4-bit 量化,权重约 38.5–40 GB,放到标称 48 GB 显存的双 RTX 3090 或单张 A6000 上,为什么 8 个 8k 请求就可能把服务打崩?作者用 Llama-3-70B 算了一笔账。仅这批请求的 KV Cache 就能吃掉约 13.4 GB。对接本地模型的前端和全栈开发者,可以用这套算法估算并发与上下文上限,再用压测决定服务到底能接多少请求。
48 GB 显存还要装下什么
作者把推理显存拆成四项:模型权重、KV Cache、前向计算的临时张量,以及 CUDA 运行时开销。权重可以先按参数量估算。每 10 亿参数,FP16 / BF16 约占 2 GB,INT8 / FP8 约占 1 GB,INT4(AWQ / GPTQ / GGUF)按约 0.55 GB 估。对应一个 70B 模型,分别是 140 GB、70 GB 和 38.5 GB。作者建议给权重估算再乘 1.05,留出 5% 分配开销。
另外两项也要计入预算。作者给 70B 模型的激活值和临时张量预留 2–4 GB,实际峰值会随批大小、上下文长度和推理实现变化。CUDA 驱动、PyTorch 上下文和 cuBLAS 工作区则按 0.8–1.5 GB 估。把 38.5 GB 权重及其预留、13.4 GB KV Cache 和这两项加起来,约需 56.6–59.3 GB。多卡部署还得逐卡核算,张量并行怎么切分,会影响每张卡要装下多少数据。
原文用下面这条报错说明服务在推理时如何撞上显存上限。
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.84 GiB...
这一行的 2.84 GiB 是当时申请失败的那笔分配大小,单靠它算不出服务总共需要多少显存。
为什么 8 个 8k 请求就要约 13.4 GB
KV Cache 保存模型在注意力计算中为历史 token 生成的 Key 和 Value。模型每生成一个新 token,就能复用前面存好的数据,省去重复计算。作为代价,请求越长,同时在跑的请求越多,缓存就越大。4-bit 量化压缩的是权重,KV Cache 用多少字节要看它自己的精度。
原文的估算公式是 2 × 层数 × KV 头数 × 每头维度 × 上下文 token 数 × 并发请求数 × 每元素字节数。开头的 2 对应 Key 和 Value。Llama-3-70B 有 80 层,分组查询注意力(GQA)使用 8 个 KV 头,每头 128 维。按 8 路并发、每路 8,192 token、FP16 每元素 2 字节计算,结果是 13.42 GB,也就是 12.5 GiB。这对应八条序列同时占满上下文的情况。输入和已生成的输出都会占用序列里的 token 额度。
分页和共享前缀能省下哪部分显存
vLLM 的 PagedAttention 按块管理 KV Cache,请求变长时可以继续分配块,物理显存里的块可以分散存放。这样能减少提前为整条序列预留连续空间造成的浪费。作者还建议设置 --gpu-memory-utilization 0.90,给 vLLM 的显存预算留出约 10% 余量。
如果多个请求以相同的系统提示开头,可以启用 --enable-prefix-caching 复用匹配前缀的缓存块。原文举了 2,000 token 的系统指令作为例子。这个优化能省多少,要看请求实际共享了多少前缀,以及对应的缓存块是否还在。
我的判断
四项拆账最实用的地方,是能分清该动哪个参数。权重已经量化,继续压权重可能牵涉模型质量。先限制并发或上下文长度,实现更简单,但会影响吞吐或可用输入长度。分页管理适合请求长短波动较大的服务,前缀缓存则更适合有大量重复系统提示的请求。
原文给出了公式和配置经验,没交代报错的完整复现条件,也没给出 vLLM 与 HuggingFace TGI 的对照压测。传统分配浪费 60–80%、分页后低于 4%,是作者引用的量级,原文没有说明适用负载和测量方法。2–4 GB 的临时张量预算和 0.90 的利用率也只能作为压测起点。
能拿来做什么
- 给本地模型服务算容量时,先按模型配置估出每 token 的 KV Cache,再把输入、最大输出和同时运行的请求数代入。
- 如果 Node 网关负责调用模型,可以把输入与输出的 token 预算和并发限额放在网关层。压测时安排多条长请求重叠运行,记录每张卡的显存峰值。
- 如果多个 AI 功能共用一段长系统提示,让这段固定内容保持在请求开头,把用户信息等可变内容放在后面,再对比启用前缀缓存前后的命中率和显存峰值。