部署大模型前,先算权重和 KV 缓存
文章逐步拆解大模型推理显存估算,给出权重精度与 KV 缓存的计算公式,说明上下文长度、并发数如何增加占用。示例中,80 亿参数的 16 位权重约占 16 GB,并按指定架构计算缓存成本,数据属于算例而非实测。
AI 深度解读
本地部署 LLM,显卡能不能装下模型,不能只看参数量。作者把显存需求拆成三笔账:模型权重、保存对话历史的 KV cache,以及推理引擎的运行开销。按文中的示例,80 亿参数模型用 16-bit 精度,同时处理 8 路、每路 4,096 token 的对话,估算就要占用约 23.3 GB。
这套算法适合部署前筛选配置,也能解释为什么模型加载成功,增加并发后却显存不足。但它只是容量估算,文中的配置是演示案例,并非某个具体模型的实测。
权重装得下,为什么还不能放心接请求
先统一单位:原文所有容量都按 1 GB = 10 亿字节计算。
权重是模型训练得到的数值。按文中的估算前提,这些数值全部放进 GPU 显存,所需空间由参数量和每个参数占用的字节数决定。
下面这个公式解决的是「模型本体需要多少显存」:
weights = parameters x bytes per weight
要注意 bytes per weight:32-bit、16-bit、8-bit 分别对应 4、2、1 字节,4-bit 则约为 0.5 字节。
因此,80 亿参数模型采用 16-bit 精度时,权重占用为 8e9 x 2 bytes = 16.0 GB。这笔空间还没有包含处理请求时产生的缓存和运行开销。
权重能放进显卡,只说明第一笔账算得过来。
对话越长、并发越多,显存怎么增长
生成文本时,模型会保存此前 token 的 key 和 value,形成 KV cache,避免每生成一个新 token 都重新计算此前内容对应的这些信息。可以把它理解为生成过程中不断积累的中间记录。
下面两行分别计算每个 token 的缓存大小,以及全部并发请求的缓存总量:
kv_per_token = 2 x layers x kv_heads x head_dim x bytes per cache value
kv_cache = kv_per_token x context_tokens x batch_size
要注意第二行:上下文长度和并发数是相乘关系。第一行的 2 则表示每层都要保存一份 key 和一份 value。
作者设定模型有 32 层、8 个 KV heads,head size 为 128,缓存使用 16-bit 数值,每个值占 2 字节。于是:
kv_per_token = 2 x 32 x 8 x 128 x 2 = 131,072 bytes
同时处理 8 路对话,每路达到 4,096 token 时:
131,072 x 4,096 x 8 = 4.29 GB
这解释了一个常见现象:同一个模型,单人短对话可以运行,多人长对话却可能耗尽显存。权重没有变,缓存变大了。
推理引擎还需要临时缓冲区,也会因内存分配留下空隙。作者建议规划时,按「权重加缓存」的 10% 到 20% 估算额外开销。取 15%:
overhead = 0.15 x (16.0 + 4.29) = 3.04 GB
三项相加,16.0 + 4.29 + 3.04,约为 23.3 GB。对于 24 GB 显卡,剩余空间不足 1 GB,再增加用户或拉长对话就可能放不下。
我的判断
这套拆账方法最有用的地方,是让优化方向变得明确。
如果权重占大头,换小模型或降低权重精度,例如改为 8-bit,通常能直接压缩最大的那部分。如果长上下文和高并发让缓存占了大头,就该优先限制上下文、减少同时处理的对话,或考虑降低缓存精度。
但「额外预留 10% 到 20%」只是作者给出的粗略规划默认值。原文没有提供不同引擎的对照数据,也没有证明 15% 适合所有配置,不能把它当成稳定余量。
模型结构也会影响判断。例如,混合专家模型(MoE)每个 token 只使用少数专家,但仍需存储全部专家,不能仅凭每次参与计算的参数量估算权重空间。实际层数、KV heads 和 head size,都应从目标模型的配置中读取。
与只按参数量估算相比,这个方法更完整;与实际压测相比,它仍然缺少引擎分配行为和真实负载的验证。作者提供了 MIT 许可的单文件 HTML 计算器,并公开公式;另有免费、无需注册的交互版本,包含图解和容量判断表,属于 Deployed Lab 七个免费章节之一。工具方便复算,但估算结果仍需在自己的硬件上验证。
能拿来做什么
- 计划自托管模型时,先从模型配置中取出层数、KV heads 和 head size,再分别计算权重、缓存和开销,用于筛选显卡配置。
- 给本地 AI 编程助手设置上下文上限时,把长代码文件和持续增长的对话历史计入缓存预算,不要只确认模型能成功加载。
- 为自托管推理服务设计请求队列时,把同时处理的对话数纳入容量规划,避免按单用户测试结果直接放开并发。
- 调整量化方案前,先判断权重和缓存谁占得更多;选定配置后,在自己的硬件上测试目标上下文与并发组合。