6GB 显存运行四十亿参数模型的实测

6 GB 显存能跑 4B 模型，还能训练 3B 模型的全部参数？独立开发者 Gökhan Çava 发布的 LCGA Local 给出了两条可运行的路径：推理时按层搬运权重，训练时用分块流式处理配合 Adafactor，把显存中的工作集压到硬件限制以内。

这份报告值得读的地方，是它把「能运行」和「效果好」分开了。推理有等待成本，训练只验证了短程可行性，稀疏注意力实验甚至得到负面结果。对想在笔记本上折腾本地 AI 的程序员，这些边界比宣传数字更有用。

4B 模型怎么塞进 6 GB 显存

测试机器是配备 6 GB 显存的 RTX 3050 Laptop GPU。按作者的描述，4B 模型若采用 bf16，再加上常规 KV cache 和桌面会话，就装不下。

推理路径使用 Qwen3-4B-Instruct-2507，以 int8 保存权重，配合层流式加载和一个 bf16 层槽位。可以把它理解为：显存只留当前处理所需的权重，其他层按需搬进来，避免一次分配整个模型。

作者报告的峰值显存为 4.5 GB，首次运行耗时 18.8 s，热启动为 2.4 s。原文没有交代这些耗时对应的输入长度、输出长度，也没有给出每秒生成 token 数，因此不能直接据此判断日常对话速度。

入口是 python llm.py，Windows 下可用 sohbet.cmd。作者把它定位为本地聊天、实验，以及验证 4B 模型能否装下，并未声称达到高吞吐服务水平。

装得下已经得到验证，跑得多快仍缺少完整测量。

小型 RAG 为什么先用了 BM25

LCGA Local 的检索增强生成（RAG）没有引入大型向量数据库，而是在 CPU 上用 BM25 检索一个来自 Wikipedia 的语料库：共 326 篇文档，总计 4.57 MiB。

BM25 根据词项匹配及其权重给段落排序。对于这个规模的语料，作者选择了较简单的检索路径：返回段落与引用，资料不支持的问题则拒答。

内部 exp48 评测包含 50 个语料可覆盖的问题，以及 20 个对照问题：

• 单来源回答结果为 50/50。
• 关键词重合得分为 49/50，基线为 42/50。
• 对照问题被回答的数量为 0/20。

唯一一次关键词未命中，是回答用了正确的土耳其语同义表达「Büyük Okyanus」，没有使用预期字面词「Pasifik」。这提醒我们，关键词分数会把表达差异算成错误。

但这些成绩来自小规模、自建评测。人工复核由 agent 和开发者在会话中完成，没有独立人工评审。仓库在 results/exp48_manual_review.md 中披露了这一点。它能说明这套语料和题目上的表现，不能直接证明面对任意知识库也同样可靠。

更新全部参数，不等于完成有效微调

M5 实验验证的是另一件事：同一块 6 GB GPU 能否更新一个 3B 模型的全部参数，而非只训练 LoRA 适配器。

作者使用 block streaming 和 Adafactor，更新全部 3.09B 参数。150 步运行后，交叉熵从 2.5034 降到 2.3242，完整报告位于 M5_RAPOR.md。

这证明了参数更新所需的内存路径可以运行。但原文没有给出足以判断训练效率、收敛情况和最终任务收益的数据。

损失下降支持「训练流程跑通了」，还不足以支持「获得了有用的微调模型」。

另一项 LCGA 块稀疏注意力实验则没有取得预期效果。在被测设置中，稠密注意力的困惑度为 12.46 PPL，稀疏版本为 16.56 PPL。困惑度通常越低越好，因此这次稀疏方案的质量更差。推理和训练路径的可行性，不能顺带替稀疏注意力背书。

我的判断

我认可这份报告对结论范围的克制。省显存、生成速度、训练收益和模型质量是不同问题，作者没有用其中一个结果替代其他几个。

不过，它更适合作为研究起点。相比直接选更小的模型，按层流式加载增加了权重搬运与调度成本；相比 LoRA，全参数更新扩大了训练范围，但原文没有提供两者在耗时、内存或任务效果上的对照，不能据此判断哪条路线更划算。BM25 的成绩也没有证明它优于向量检索。

v0.1.0 发布的是源码研究包，包含本地聊天与服务代码、CPU RAG、M1–M5 和 P1 训练实验及报告、CUDA-graph 研究产物，以及 79 项 CPU、数值一致性、缓存和 RAG 测试。这些测试提供工程检查，却不能替代模型质量评测。

模型权重、检查点、缓存和 tools/llama.cpp 均未包含，Qwen3-4B 需要另行下载。代码采用 MIT 许可证；RAG 语料采用 CC BY-SA 4.0，署名说明位于 data/rag/README.md。原文还披露，文章由 AI agent 根据项目报告起草、经开发者授权发布，测量数据均来自仓库。

能拿来做什么

• 如果你有类似的 6 GB 显卡，可以从 python llm.py 开始验证本地聊天，并分别记录加载时间、生成速度和峰值显存，补齐决定使用体验的数据。
• 如果你要给小型文档集做问答，可以先评估 CPU BM25，并像作者一样同时准备可回答问题和应拒答问题，检查引用是否真正支持答案。
• 如果你想研究低显存训练，可以把 M5 当作参数搬运与更新的实现参考；判断能否用于微调之前，还要补充训练耗时、验证集结果和目标任务评测。
• 如果要复用发布包，先确认模型下载步骤与语料署名要求；源码许可证和数据许可证需要分别处理。