8GB 显存跑本地模型怎么分配预算
按文中的估算,8GB 显存通常能运行 4 位量化的 7B 至 8B 模型,并保留几千个词元的上下文。4 位量化的 14B 模型仅权重就约占 9GB,需要将部分层卸载到系统内存。
AI 深度解读
8 GB 显卡可以跑有用的本地大语言模型。作者给出的起点是 4-bit 的 7B–8B 模型,先把上下文设为 4K。以 Qwen2.5 14B 为例,4-bit 权重文件就约 9.0 GB,得把部分层放到 CPU 上跑。
做本地 AI 编程时,「模型能加载」和「贴进去一段长代码还能流畅生成」是两道门槛。作者用 Ollama 库里的文件大小划出模型能不能装下的边界,再用显存余量和生成速度判断它能不能日常用。
为什么 4.9 GB 的模型也能吃紧 8 GB 显存
显存要同时容纳模型权重、KV 缓存、推理运行时和驱动开销。桌面合成器、开启硬件加速的浏览器和视频通话也会占用一部分。KV 缓存保存模型已经处理过的 token 对应的注意力数据,生成后续内容时可以复用。聊天记录和贴进去的代码越长,这笔开销就越大。
以 Llama 3.1 8B 为例,4-bit 文件约 4.9 GB,配几千 token 的上下文通常能放进 8 GB。作者的经验线是,权重低于约 5 GB 比较宽松,到了 5.4 GB 就开始吃紧。原文称一个示例预算合计约 8.0 GB,但提供的正文缺少分项表,无法核对每一项用了多少。原文另一处估计,单个 8B 模型在 4K 上下文下约剩 1 GB。这两个数都适合用来认识预算量级,具体余量要在自己的机器上看。
同一个模型从 4K 拉到 32K,权重文件大小完全一样,总显存占用却可能翻倍。缓存空间一旦吃紧,模型即使刚加载时很顺,也可能在长对话里卡住或把部分工作转到 CPU。剩余空间还决定了能不能同时挂别的模型。作者估计,小型 4-bit embedding 模型占几百 MB,有机会和一个生成模型共存;两个生成模型通常很难一起常驻。
8 GB 跑得慢时,先动哪个参数
先缩上下文,再考虑换量化或换模型。对短问答和摘要,4K 是作者建议的起点。调整时每次只改一项,记录显存和 tokens/s,再用 ollama ps 看模型显示的是 100% GPU、100% CPU,还是 CPU/GPU 混合。如果已经混跑,先缩上下文或换小模型,可以验证瓶颈是否来自卸载。
量化把权重用更低的位数存下来,腾出的空间可以留给缓存。原文举例,同一个 7B 模型用 8-bit 时,仅权重就约 8 GB,改用 4-bit 后约 4.4 GB。作者建议在 8 GB 上先用 Q4_K_M,确认加载后至少还剩 1.5 GB,再试 Q5_K_M,并用实际输入检查缓存能不能放下。原文认为,4-bit 对聊天和摘要的影响相对小,长上下文推理和代码生成更容易受影响。
还有两条路。把少数模型层卸载到系统内存,让 CPU 参与计算,较大的模型也能启动,但作者描述的混跑速度可能掉到每秒几个 token。换成 3B/4B 则可以直接腾出上下文空间,适合用自己的任务检验小模型的回答质量是否够用。
什么情况下,12–16 GB 才有实际价值
作者按想跑的模型给显卡分档。8 GB 的 RTX 3070 对应短上下文的 4-bit 7B–8B。12 GB 的 RTX 3060 12 GB 或 RTX 4070,能给 4-bit 14B 留出一些空间。16 GB 的 RTX 4060 Ti 16 GB 或 RTX 4070 Ti Super 跑 14B 更宽松,部分 32B 也能在短上下文下运行。到 RTX 4090 这类 24 GB 卡,32B 才有比较实用的运行空间。70B 超出了原文讨论的 8 GB 使用范围。
这个划分最有用的地方,是把「以后可能跑 14B」变成具体的预算问题。Qwen2.5 14B 在分配缓存前就已经超过 8 GB。如果日常一直用短上下文的 7B,升级到 24 GB 的容量收益可能用不上。如果 14B 已经是目标,作者给出的实用区间是 12–16 GB。
我的判断
最有说服力的是 9.0 GB 权重和 8 GB 总容量之间的关系。作者在 2026 年 11 月查对了 Ollama 库的模型文件大小,显卡分档以 NVIDIA 的 RTX 3070 和 RTX 4090 规格为参照。显存预算是示例,文中没有给同卡、同模型在 4K 和 32K 下的显存及速度对照,也没有给不同量化在代码任务里的质量对照。「显存可能翻倍」「混跑掉到每秒几个 token」和量化质量的判断,都应当视为经验之谈。运行时、量化、上下文和并发都会影响结果。
对前端和 Node 开发,真正要比的是短上下文下的模型能力,以及小模型能多读多少相关代码。排查一个组件或接口时,可以只给报错、相关函数和类型定义,试试 7B–8B 的回答。假如任务需要模型同时读多文件,强行删掉上下文可能连定位线索都删掉了。这时,小模型加更完整的输入和大模型混跑都可以用同一道题比较,分别看回答质量和等待时间。原文没给这组对照,不能单凭显存档位判断哪条路更适合你的代码库。
能拿来做什么
- 手上已有 8 GB 显卡,可以从 Llama 3.1 8B 或 Qwen2.5 7B 的
Q4_K_M开始,把上下文设为 4K,拿一个真实的组件报错或 Node 接口问题试跑。 - 碰到长对话变慢时,先用
ollama ps确认有没有 CPU/GPU 混跑,再固定模型和任务,只改上下文长度,比较前后的显存占用和tokens/s。 - 想在本地代码检索里同时用 embedding 和生成模型,就把两个模型一起跑一遍,并保持平时的浏览器使用状态,检查生成模型是否仍能留在 GPU 上。