基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 22:00

本地跑模型,内存与上下文如何取舍

dev.to · AI#本地推理#量化#内存优化
Editor brief · 编辑速览

文章介绍 Ollama、llama.cpp 与本地推理硬件约束,重点解释模型权重、KV 缓存容量和内存带宽对速度的影响。上下文增长会扩大缓存需求,缓存量化则能降低内存占用。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

本地跑模型,决定体验的往往是内存:模型和 KV cache 能不能一起装下,生成每个 token 时又能多快读完。原文围绕 Ollama、llama.cpp 和硬件带宽,把「模型能启动」到「实际用得顺」之间的差距拆开了。

对想搭私人代码助手、处理内部资料的程序员,这篇最有用的部分是容量预算和速度估算。但其中的跑分来自社区测试,不能直接当成自己机器的性能承诺。

模型能装下,为什么长对话还是会爆显存

本地推理把分词、预填充(prefill)、逐 token 生成(decode)和流式输出搬到自己的机器上。省掉按 token 计费的 API 账单,也接过了模型加载、显存分配和服务维护。

先算权重。原文给出的 GGUF 粗估规则是:Q4_K_M 平均每个权重约 4.9 bits,每十亿参数需要约 0.6 GB。Llama 3.1 8B 的权重大约 4.9 GB,看起来放进 8 GB 显卡绰绰有余。

问题在 KV cache。它保存历史 token 的 key 和 value,供后续生成复用,长度越长,占用越大。16-bit 缓存的计算公式是:

bytes = 2 × L × H_kv × d_h × context_length × 2

前一个 2 代表 key、value 两份数据,后一个 2 代表每个数占两个字节。这里要数 KV heads,不能拿 query heads 代替;分组查询注意力(GQA)会让多个 query heads 共享 KV heads。

Llama 3.1 8B 有 32 层、8 个 KV heads,head size 为 128,每个 token 消耗 131,072 bytes,也就是 128 KiB。8K 上下文需要 1 GiB,32K 需要 4 GiB,完整 128K 则需要 16 GiB。

权重装得下,只能证明模型有机会运行,不能证明目标上下文装得下。

架构也会改变预算。没有 GQA 的 Llama 2 7B 有 32 个 KV heads,每 token 要 512 KiB,完整 4K 上下文就占 2 GiB。Code Llama 34B 则是 48 层、8 个 KV heads,每 token 192 KiB,8K 约占 1.5 GiB。

因此,选模型时应把权重、目标上下文和运行余量一起算,不能只看下载文件大小。

单人生成速度,为什么先看带宽

原文用一个近似公式解释 decode 速度:

decode tokens per second ≈ memory bandwidth ÷ bytes read per token

单用户逐 token 生成时,每一步都要读取模型权重;长上下文还会增加 KV cache 的读取量。

7B 模型的 Q4_0 权重约 3.8 GB。RTX 4090 带宽为 1,008 GB/s,理论上限约为 1,008 ÷ 3.8 ≈ 265 tokens/s。原文引用的 llama.cpp 社区测试中,实际速度大致达到理论值的 60% 到 75%,测试条件包括 Llama 2 7B、生成 128 tokens、单用户。

这套估算解释了几种常见落差:

  • M2 Max 跑同一 7B 模型的 16-bit 版本约为 25 tokens/s,因为读取字节数约增加到 3.5 倍。
  • 双通道 DDR5 桌面 CPU 的带宽按最高约 100 GB/s 算,读取 4 到 5 GB 模型的理论速度约为 20 到 25 tokens/s。
  • 70B 的 Q4_K_M 权重约 43 GB,M2 Max 的理论上限约为 9 tokens/s,原文预计实际约为 5 到 6;64 GB PC 若主要靠系统 RAM,约为 1 到 2 tokens/s。

原文还引用 RTX 5090 跑 7B Q4_0 约 290 到 300 tokens/s,但没有展开完整测试配置,不能拿来与上述数字直接横比。

混合卸载可以救容量。Ollama 会把部分层放入系统内存,ollama ps 能显示类似 48%/52% CPU/GPU 的分配。代价是 CPU 层通过系统 RAM 读取权重,每个 token 都得等它们完成;跨 PCIe 的主要是较小的激活数据,不能简单归因于总线搬运。

SSD 主要影响加载。GGUF 支持内存映射,操作系统可以按需读入权重,但模型启动之后,磁盘速度无法替代显存或内存带宽。系统内存不足而发生换页,还会进一步拖慢推理。

另一个例外是混合专家模型(MoE):gpt-oss-20b 总参数为 21 billion,每 token 激活约 3.6 billion,因此读取量低于同规模稠密模型,但全部权重仍需有地方存放。

想扩大上下文,先压缓存还是换模型

原文最值得动手试的优化是 KV cache 量化,而且 key、value 可以用不同精度。

下面这条命令让 llama.cpp 分别使用 q8_0 key 和 q4_0 value:

llama-server -m model.gguf -fa on --cache-type-k q8_0 --cache-type-v q4_0

要盯住 -fa on:按原文说明,量化 value cache 需要开启 Flash Attention。

计入共享缩放参数后,q8_0 每个数占 8.5 bits,q4_0 占 4.5 bits,二者平均 6.5 bits。相对 f16 的 16 bits,缓存约减少 59%,相同空间能容纳约 2.5 倍上下文。

为什么给 key 更多位数?key 参与计算注意力分数,决定历史内容被分配多少权重;value 承载随后混合的信息。原文引用 KIVI 论文,说明两者统计特征不同,key 更适合按通道量化,value 更适合按 token 量化。

社区项目 KVSplit 在 2025 年 5 月用 M4 MacBook Pro、TinyLlama、8K 上下文测试:同样减少 59% 缓存,K8V4 的困惑度上升 0.86%,K4V8 上升 6.06%。

这支持「优先保留 key 精度」的方向,但它只覆盖一个小模型和一台机器。困惑度也不能直接等同于代码生成正确率。

Ollama 的配置更省事,也更粗:支持的硬件上可自动启用 Flash Attention,或设置 OLLAMA_FLASH_ATTENTION=1;再用 OLLAMA_KV_CACHE_TYPE=q8_0 或 q4_0,让 key、value 共用一种类型,缓存大致减半或减至四分之一。分别设置 K8V4,需要直接使用 llama.cpp。

工具选择可以从这里划线。ollama run llama3.2 负责下载和启动,默认监听 11434 端口,最后一次请求后保留模型五分钟。llama.cpp 则提供更细的调参入口,以及 OpenAI-compatible 的 llama-server。原文还提到 Apple Silicon 上的 MLX 路径,所引公告为 2026 年 3 月预览,具体支持范围没有展开。

多人服务又是另一道题。Ollama 的 OLLAMA_NUM_PARALLEL 默认是 1,llama-server 支持连续批处理和多个并行槽位;面向几十个用户,原文建议考虑 vLLM 的分页 KV cache 与连续批处理,或 TensorRT-LLM。后者移除旧 TensorRT backend 的说法引用了 2026 年 10 月公告,部署前仍要核对所选版本。

我的判断

我认同原文的判断顺序:先算容量,再估带宽,最后讨论并发。它能纠正一个常见误区:更大的模型文件,不一定带来更好的本地使用体验。

但原文没有提供作者自己的完整对照实验。硬件速度来自社区跑分,K8V4 的收益来自小范围测试,部分速度则是公式推算。它们适合筛选方案,不足以替团队决定采购。

「本地更便宜」也有前提。没有增量 API 账单,不代表没有增量成本,还要算电费、硬件折旧和维护时间。模型能每天生成数百万 tokens,也不等于业务需要这么多,更不等于回答质量能替代现用 API。

隐私优势成立的范围同样需要收紧:推理链路完全留在本机时,提示词可以不交给模型服务商;如果客户端另接远程工具或上传日志,边界就变了。本机仍要配置访问控制和磁盘加密,不能把「本地」直接当成合规结论。

原文最后的取舍题很实用:16 GB 显卡装不下约 20 GB 的 Code Llama 34B Q4_K_M,更别说额外 1.5 GiB 的 8K 缓存。混合卸载后约 6 GB 层留在 RAM,原文估计最好约 10 tokens/s;Q2_K 虽能把权重压到约 14 GB,却挤占缓存空间并损失质量。14B Q4_K_M 约 9 GB,通常更从容;必须用 34B 时,24 GB 显卡才是更直接的选择。

能拿来做什么

  • 给本地代码助手先定上下文预算,再选模型。把常见代码片段、最长输入和输出预留都算进去,避免短提示正常、粘贴大文件就溢出。
  • 用 Ollama 跑通自己的真实任务,通过 ollama ps 检查 CPU/GPU 分配,同时记录首 token 等待和持续生成速度,再决定是否需要 llama.cpp 调参。
  • 遇到长上下文容量不足时,尝试缓存量化,并用同一批代码问答比较结果。K8V4 的社区困惑度数据不能替代任务验收。
  • 团队搭私有 RAG 时,分别测试单请求延迟和多人吞吐。单人 tokens/s 再高,也不能替代对 vLLM 等服务引擎并发能力的验证。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
本地核算多种编程代理的用量成本
下一篇
本地 AI 知识库难在模型之外

资讯速览

dev.to · AI · 2026-11-16 22:00

AI 评分 8.0 / 10

相关标签

#本地推理#量化#内存优化

继续阅读

  • MCP 调用返回成功,不代表操作成功
  • 本地核算多种编程代理的用量成本
  • 本地 AI 知识库难在模型之外
  • 小团队自托管大模型,先算任务账
  • 接企业 Agent 项目前,先定验收标准