基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 12:49

部署大模型前,先算权重和 KV 缓存

dev.to · AI#大模型部署#显存估算#推理优化
Editor brief · 编辑速览

文章逐步拆解大模型推理显存估算,给出权重精度与 KV 缓存的计算公式,说明上下文长度、并发数如何增加占用。示例中,80 亿参数的 16 位权重约占 16 GB,并按指定架构计算缓存成本,数据属于算例而非实测。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

本地部署 LLM,显卡能不能装下模型,不能只看参数量。作者把显存需求拆成三笔账:模型权重、保存对话历史的 KV cache,以及推理引擎的运行开销。按文中的示例,80 亿参数模型用 16-bit 精度,同时处理 8 路、每路 4,096 token 的对话,估算就要占用约 23.3 GB。

这套算法适合部署前筛选配置,也能解释为什么模型加载成功,增加并发后却显存不足。但它只是容量估算,文中的配置是演示案例,并非某个具体模型的实测。

权重装得下,为什么还不能放心接请求

先统一单位:原文所有容量都按 1 GB = 10 亿字节计算。

权重是模型训练得到的数值。按文中的估算前提,这些数值全部放进 GPU 显存,所需空间由参数量和每个参数占用的字节数决定。

下面这个公式解决的是「模型本体需要多少显存」:

weights = parameters x bytes per weight

要注意 bytes per weight:32-bit、16-bit、8-bit 分别对应 4、2、1 字节,4-bit 则约为 0.5 字节。

因此,80 亿参数模型采用 16-bit 精度时,权重占用为 8e9 x 2 bytes = 16.0 GB。这笔空间还没有包含处理请求时产生的缓存和运行开销。

权重能放进显卡,只说明第一笔账算得过来。

对话越长、并发越多,显存怎么增长

生成文本时,模型会保存此前 token 的 key 和 value,形成 KV cache,避免每生成一个新 token 都重新计算此前内容对应的这些信息。可以把它理解为生成过程中不断积累的中间记录。

下面两行分别计算每个 token 的缓存大小,以及全部并发请求的缓存总量:

kv_per_token = 2 x layers x kv_heads x head_dim x bytes per cache value
kv_cache     = kv_per_token x context_tokens x batch_size

要注意第二行:上下文长度和并发数是相乘关系。第一行的 2 则表示每层都要保存一份 key 和一份 value。

作者设定模型有 32 层、8 个 KV heads,head size 为 128,缓存使用 16-bit 数值,每个值占 2 字节。于是:

kv_per_token = 2 x 32 x 8 x 128 x 2 = 131,072 bytes

同时处理 8 路对话,每路达到 4,096 token 时:

131,072 x 4,096 x 8 = 4.29 GB

这解释了一个常见现象:同一个模型,单人短对话可以运行,多人长对话却可能耗尽显存。权重没有变,缓存变大了。

推理引擎还需要临时缓冲区,也会因内存分配留下空隙。作者建议规划时,按「权重加缓存」的 10% 到 20% 估算额外开销。取 15%:

overhead = 0.15 x (16.0 + 4.29) = 3.04 GB

三项相加,16.0 + 4.29 + 3.04,约为 23.3 GB。对于 24 GB 显卡,剩余空间不足 1 GB,再增加用户或拉长对话就可能放不下。

我的判断

这套拆账方法最有用的地方,是让优化方向变得明确。

如果权重占大头,换小模型或降低权重精度,例如改为 8-bit,通常能直接压缩最大的那部分。如果长上下文和高并发让缓存占了大头,就该优先限制上下文、减少同时处理的对话,或考虑降低缓存精度。

但「额外预留 10% 到 20%」只是作者给出的粗略规划默认值。原文没有提供不同引擎的对照数据,也没有证明 15% 适合所有配置,不能把它当成稳定余量。

模型结构也会影响判断。例如,混合专家模型(MoE)每个 token 只使用少数专家,但仍需存储全部专家,不能仅凭每次参与计算的参数量估算权重空间。实际层数、KV heads 和 head size,都应从目标模型的配置中读取。

与只按参数量估算相比,这个方法更完整;与实际压测相比,它仍然缺少引擎分配行为和真实负载的验证。作者提供了 MIT 许可的单文件 HTML 计算器,并公开公式;另有免费、无需注册的交互版本,包含图解和容量判断表,属于 Deployed Lab 七个免费章节之一。工具方便复算,但估算结果仍需在自己的硬件上验证。

能拿来做什么

  • 计划自托管模型时,先从模型配置中取出层数、KV heads 和 head size,再分别计算权重、缓存和开销,用于筛选显卡配置。
  • 给本地 AI 编程助手设置上下文上限时,把长代码文件和持续增长的对话历史计入缓存预算,不要只确认模型能成功加载。
  • 为自托管推理服务设计请求队列时,把同时处理的对话数纳入容量规划,避免按单用户测试结果直接放开并发。
  • 调整量化方案前,先判断权重和缓存谁占得更多;选定配置后,在自己的硬件上测试目标上下文与并发组合。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
给编程代理写规格,先锁定数据与接口
下一篇
Edge0 发布可下载的千亿参数编程模型

资讯速览

dev.to · AI · 2026-11-16 12:49

AI 评分 8.0 / 10

相关标签

#大模型部署#显存估算#推理优化

继续阅读

  • 混元发布低成本百万上下文模型
  • 给编程代理写规格,先锁定数据与接口
  • Edge0 发布可下载的千亿参数编程模型
  • Codex 日志为何造成大量 SSD 写入
  • Qwen4-Max 正式开放,支持百万上下文