本地跑模型,内存与上下文如何取舍
文章介绍 Ollama、llama.cpp 与本地推理硬件约束,重点解释模型权重、KV 缓存容量和内存带宽对速度的影响。上下文增长会扩大缓存需求,缓存量化则能降低内存占用。
AI 深度解读
本地跑模型,决定体验的往往是内存:模型和 KV cache 能不能一起装下,生成每个 token 时又能多快读完。原文围绕 Ollama、llama.cpp 和硬件带宽,把「模型能启动」到「实际用得顺」之间的差距拆开了。
对想搭私人代码助手、处理内部资料的程序员,这篇最有用的部分是容量预算和速度估算。但其中的跑分来自社区测试,不能直接当成自己机器的性能承诺。
模型能装下,为什么长对话还是会爆显存
本地推理把分词、预填充(prefill)、逐 token 生成(decode)和流式输出搬到自己的机器上。省掉按 token 计费的 API 账单,也接过了模型加载、显存分配和服务维护。
先算权重。原文给出的 GGUF 粗估规则是:Q4_K_M 平均每个权重约 4.9 bits,每十亿参数需要约 0.6 GB。Llama 3.1 8B 的权重大约 4.9 GB,看起来放进 8 GB 显卡绰绰有余。
问题在 KV cache。它保存历史 token 的 key 和 value,供后续生成复用,长度越长,占用越大。16-bit 缓存的计算公式是:
bytes = 2 × L × H_kv × d_h × context_length × 2
前一个 2 代表 key、value 两份数据,后一个 2 代表每个数占两个字节。这里要数 KV heads,不能拿 query heads 代替;分组查询注意力(GQA)会让多个 query heads 共享 KV heads。
Llama 3.1 8B 有 32 层、8 个 KV heads,head size 为 128,每个 token 消耗 131,072 bytes,也就是 128 KiB。8K 上下文需要 1 GiB,32K 需要 4 GiB,完整 128K 则需要 16 GiB。
权重装得下,只能证明模型有机会运行,不能证明目标上下文装得下。
架构也会改变预算。没有 GQA 的 Llama 2 7B 有 32 个 KV heads,每 token 要 512 KiB,完整 4K 上下文就占 2 GiB。Code Llama 34B 则是 48 层、8 个 KV heads,每 token 192 KiB,8K 约占 1.5 GiB。
因此,选模型时应把权重、目标上下文和运行余量一起算,不能只看下载文件大小。
单人生成速度,为什么先看带宽
原文用一个近似公式解释 decode 速度:
decode tokens per second ≈ memory bandwidth ÷ bytes read per token
单用户逐 token 生成时,每一步都要读取模型权重;长上下文还会增加 KV cache 的读取量。
7B 模型的 Q4_0 权重约 3.8 GB。RTX 4090 带宽为 1,008 GB/s,理论上限约为 1,008 ÷ 3.8 ≈ 265 tokens/s。原文引用的 llama.cpp 社区测试中,实际速度大致达到理论值的 60% 到 75%,测试条件包括 Llama 2 7B、生成 128 tokens、单用户。
这套估算解释了几种常见落差:
- M2 Max 跑同一 7B 模型的 16-bit 版本约为 25 tokens/s,因为读取字节数约增加到 3.5 倍。
- 双通道 DDR5 桌面 CPU 的带宽按最高约 100 GB/s 算,读取 4 到 5 GB 模型的理论速度约为 20 到 25 tokens/s。
- 70B 的 Q4_K_M 权重约 43 GB,M2 Max 的理论上限约为 9 tokens/s,原文预计实际约为 5 到 6;64 GB PC 若主要靠系统 RAM,约为 1 到 2 tokens/s。
原文还引用 RTX 5090 跑 7B Q4_0 约 290 到 300 tokens/s,但没有展开完整测试配置,不能拿来与上述数字直接横比。
混合卸载可以救容量。Ollama 会把部分层放入系统内存,ollama ps 能显示类似 48%/52% CPU/GPU 的分配。代价是 CPU 层通过系统 RAM 读取权重,每个 token 都得等它们完成;跨 PCIe 的主要是较小的激活数据,不能简单归因于总线搬运。
SSD 主要影响加载。GGUF 支持内存映射,操作系统可以按需读入权重,但模型启动之后,磁盘速度无法替代显存或内存带宽。系统内存不足而发生换页,还会进一步拖慢推理。
另一个例外是混合专家模型(MoE):gpt-oss-20b 总参数为 21 billion,每 token 激活约 3.6 billion,因此读取量低于同规模稠密模型,但全部权重仍需有地方存放。
想扩大上下文,先压缓存还是换模型
原文最值得动手试的优化是 KV cache 量化,而且 key、value 可以用不同精度。
下面这条命令让 llama.cpp 分别使用 q8_0 key 和 q4_0 value:
llama-server -m model.gguf -fa on --cache-type-k q8_0 --cache-type-v q4_0
要盯住 -fa on:按原文说明,量化 value cache 需要开启 Flash Attention。
计入共享缩放参数后,q8_0 每个数占 8.5 bits,q4_0 占 4.5 bits,二者平均 6.5 bits。相对 f16 的 16 bits,缓存约减少 59%,相同空间能容纳约 2.5 倍上下文。
为什么给 key 更多位数?key 参与计算注意力分数,决定历史内容被分配多少权重;value 承载随后混合的信息。原文引用 KIVI 论文,说明两者统计特征不同,key 更适合按通道量化,value 更适合按 token 量化。
社区项目 KVSplit 在 2025 年 5 月用 M4 MacBook Pro、TinyLlama、8K 上下文测试:同样减少 59% 缓存,K8V4 的困惑度上升 0.86%,K4V8 上升 6.06%。
这支持「优先保留 key 精度」的方向,但它只覆盖一个小模型和一台机器。困惑度也不能直接等同于代码生成正确率。
Ollama 的配置更省事,也更粗:支持的硬件上可自动启用 Flash Attention,或设置 OLLAMA_FLASH_ATTENTION=1;再用 OLLAMA_KV_CACHE_TYPE=q8_0 或 q4_0,让 key、value 共用一种类型,缓存大致减半或减至四分之一。分别设置 K8V4,需要直接使用 llama.cpp。
工具选择可以从这里划线。ollama run llama3.2 负责下载和启动,默认监听 11434 端口,最后一次请求后保留模型五分钟。llama.cpp 则提供更细的调参入口,以及 OpenAI-compatible 的 llama-server。原文还提到 Apple Silicon 上的 MLX 路径,所引公告为 2026 年 3 月预览,具体支持范围没有展开。
多人服务又是另一道题。Ollama 的 OLLAMA_NUM_PARALLEL 默认是 1,llama-server 支持连续批处理和多个并行槽位;面向几十个用户,原文建议考虑 vLLM 的分页 KV cache 与连续批处理,或 TensorRT-LLM。后者移除旧 TensorRT backend 的说法引用了 2026 年 10 月公告,部署前仍要核对所选版本。
我的判断
我认同原文的判断顺序:先算容量,再估带宽,最后讨论并发。它能纠正一个常见误区:更大的模型文件,不一定带来更好的本地使用体验。
但原文没有提供作者自己的完整对照实验。硬件速度来自社区跑分,K8V4 的收益来自小范围测试,部分速度则是公式推算。它们适合筛选方案,不足以替团队决定采购。
「本地更便宜」也有前提。没有增量 API 账单,不代表没有增量成本,还要算电费、硬件折旧和维护时间。模型能每天生成数百万 tokens,也不等于业务需要这么多,更不等于回答质量能替代现用 API。
隐私优势成立的范围同样需要收紧:推理链路完全留在本机时,提示词可以不交给模型服务商;如果客户端另接远程工具或上传日志,边界就变了。本机仍要配置访问控制和磁盘加密,不能把「本地」直接当成合规结论。
原文最后的取舍题很实用:16 GB 显卡装不下约 20 GB 的 Code Llama 34B Q4_K_M,更别说额外 1.5 GiB 的 8K 缓存。混合卸载后约 6 GB 层留在 RAM,原文估计最好约 10 tokens/s;Q2_K 虽能把权重压到约 14 GB,却挤占缓存空间并损失质量。14B Q4_K_M 约 9 GB,通常更从容;必须用 34B 时,24 GB 显卡才是更直接的选择。
能拿来做什么
- 给本地代码助手先定上下文预算,再选模型。把常见代码片段、最长输入和输出预留都算进去,避免短提示正常、粘贴大文件就溢出。
- 用 Ollama 跑通自己的真实任务,通过
ollama ps检查 CPU/GPU 分配,同时记录首 token 等待和持续生成速度,再决定是否需要 llama.cpp 调参。 - 遇到长上下文容量不足时,尝试缓存量化,并用同一批代码问答比较结果。K8V4 的社区困惑度数据不能替代任务验收。
- 团队搭私有 RAG 时,分别测试单请求延迟和多人吞吐。单人 tokens/s 再高,也不能替代对 vLLM 等服务引擎并发能力的验证。