本地大模型显存预算不能只看权重

本地跑大模型，显卡够不够用，不能只看模型文件有多大。作者给出的判断顺序是：先把权重、上下文缓存和运行缓冲算进去，确认装得下，再看显存带宽能提供怎样的生成速度。

围绕 Qwen3.8 27B 和 24GB、32GB 显卡，文章最有用的结论是：多出的显存未必让你跨进更大模型的门槛，却可能让当前模型容纳更长的上下文。不过，文中的数字混合了估算与社区测量，适合初筛，不能直接当作购买保证。

模型文件装得下，为什么运行还会爆显存

作者把显存需求拆成三部分：模型权重、KV cache，以及少量激活与运行缓冲。KV cache 是生成过程中保存的历史计算结果，方便模型接着处理后续 token；上下文越长，它通常占得越多。

GGUF 文件大小，只是显存预算的一部分。

所以，同一个模型可能在 4K 上下文时能跑，换到 32K 就失败。下载前只比较文件大小和显卡容量，很容易漏掉这笔开销。

以原文的 Qwen3.8 27B 为例，作者给出的选择是：

• 24GB 显卡，包括 RTX 3090、RTX 4090 和 RX 7900 XTX，使用 Q4_K_M 后约剩 5.5GB，可留给更长上下文等运行开销。
• Q5_K_M 也能装进 24GB，但空间比较紧。
• 16GB 显卡应考虑 Q3_K_M，或让 CPU 承担部分模型计算与存储。

Q4_K_M、Q5_K_M、Q3_K_M 是不同量化配置。量化会压缩权重占用，但本文没有提供它们之间的质量对照，不能只凭「能装下」判断哪种更适合自己的任务。

作者还指出，Qwen3.8 采用混合布局，只有部分层保留 KV cache，因此长上下文的缓存成本远低于传统 27B 模型。这里的关键是：参数量相同，缓存需求也可能不同，不能把一个 27B 模型的显存经验直接套给另一个。

不过，原文没有展示完整的权重与缓存计算表，也没说明上述约 5.5GB 余量对应的具体运行设置。

从 24GB 升到 32GB，买到的主要是什么

作者统计了 quantized.uk 索引中的 129 个模型：在 4K 上下文下，24GB 显卡能比较宽裕地运行其中 97 个，能加载的有 102 个；32GB 的 RTX 5090 对应数字是 103。原文没有进一步说明，这个 103 是否完全沿用「比较宽裕」的判断标准。

这组数据支持一个有限结论：在该索引和上下文设置下，增加 8GB 显存，并没有显著扩大模型覆盖范围。

对于更大的模型，差距仍然明显。作者估算，70B 模型使用 Q4_K_M、配合 8K 上下文，大约需要 47.5GB。一张 RTX 5090 仍然装不下，需要双卡或卸载部分负载。

多出的 8GB，更实际的用途是给 27B–36B 模型留出上下文空间。除此之外，RTX 5090 的显存带宽为 1,792GB/s，RTX 4090 为 1,008GB/s，这也是升级价值的一部分。

显存容量决定能不能装下，显存带宽则是影响生成速度的重要因素。

同样是 24GB，Tesla P40 的带宽为 346GB/s，RTX 4090 则是 1,008GB/s。作者用「带宽 ÷ 权重文件大小」粗略解释生成速度，但这只是估算关系，不能据此承诺具体 tokens/s，更不能直接按带宽比例推算完整任务耗时。

Mac 还要另算一笔账。作者称，24GB Mac 的 GPU 大约只能使用统一内存的四分之三，选模型时不能把标称总内存全部当作 GPU 可用空间。原文没有交代具体机型和配置，这个比例应当作为估算前提。

我的判断

我认同作者的预算方法：先固定模型、量化和上下文，再讨论显卡。相比单看参数量或 GGUF 文件大小，这种方法更接近实际运行需求。

但文章更像选型速查，证据还不够支撑精确采购。作者明确说数字来自估算和社区测量，却没有逐项区分，也没有给出统一的运行后端、配置与测试过程。「97 个模型能舒适运行」还依赖索引收录了哪些模型，不能理解成所有本地模型的通用比例。

对日常 AI 编程，长上下文余量确实有价值，但装得下更多代码，不代表模型一定能更准确地理解代码。文章没有提供代码任务质量测试，也没有比较不同量化配置、CPU offload 和双卡方案的实际速度与成本。这些部分只能视为经验判断。

能拿来做什么

• 给本地 AI 编程环境选模型时，先记录模型、量化配置和目标上下文长度，再估算权重、KV cache 与运行缓冲，避免只按 GGUF 文件大小下载。
• 已有 24GB 显卡，可以先按作者建议评估 27B 模型的 Q4_K_M 配置；如果希望容纳更长的代码上下文，再验证缓存占用是否足够。
• 比较二手 24GB 显卡与新卡时，同时看显存容量和带宽；容量相同，只能说明装载空间接近，不能说明生成速度接近。
• 作者提供了 VRAM calculator、面向 llama.cpp / Ollama / vLLM 的 Command generator，以及按 8GB、24GB、RTX 5090 分类的 cookbook。可用它们做初筛，再以自己的实际运行占用校准估算。