8GB 显存运行大模型的分层推理实测
作者分享使用 Strata 在显存、内存和 SSD 间分配负载，运行 Qwen 3.8 Flash Next Q2 的配置与经验。其报告在8GB显存、32GB内存的笔记本上，提示处理最高约900 token/s、生成约30 token/s。
原文暂未完整获取，基于公开信息的快读
8GB 显存的笔记本，也能尝试运行大模型。Reddit 的 LocalLLaMA 社区有作者分享，使用 Strata 在显存、内存和 SSD 之间分配负载，运行 Qwen 3.8 Flash Next Q2，并报告提示处理最高约 900 token/s、生成约 30 token/s。机器还配有 32GB 内存，目前这些数据来自作者自述。
目前能确认什么
分享围绕低显存设备的本地推理，涉及硬件规格、配置入口和使用经验。但现有摘要没有给出完整配置，也没说明各层具体承载哪些数据、如何调度。
标题里的 PP 是提示处理（Prompt Processing），对应模型处理输入内容的阶段；TG 是文本生成（Token Generation），对应模型逐步输出内容的阶段。两者承担的计算任务不同，不能把 900 token/s 理解成回答的输出速度。token 也不等于汉字。
Q2 属于低比特量化配置。量化通常能减少模型权重占用，但可能影响输出质量，具体程度需要测试。
这次分享提供的是一组低显存运行案例，还不足以证明同规格机器都能复现。
我的判断
对只有 8GB 显存的程序员，这个案例有参考价值：评估本地部署时，可以把内存和 SSD 一起纳入考虑，不必只看显存容量。
不过，「能运行」和「适合日常写代码」之间还有距离。短问答、长代码输入和连续多轮对话，对推理系统的压力不同；低比特量化后的代码正确性，也不能由生成速度代替回答。
现有信息没说清 GPU 型号、SSD 条件、上下文长度，以及两项速度是否来自同一测试设置。后续需要核对完整配置和测试条件，尤其是接近 30 token/s 的生成速度能否在长输入下保持，以及 Q2 对代码任务质量的影响。