十款本地模型实测：大模型未必更懂商品

给 10,000 多件商品写德语文案，难点不只是语言通顺，还要守住供应商事实、品牌语气和必填信息。作者在一台 ASUS GX10 上测试了 10 个本地模型，又比较了 Gemma 的 8 种运行配置，结论是：模型大小不能代替业务测试，数据清洗、量化版本和批处理方式都直接影响交付。

这份经验最有用的地方，是把「模型会不会写」拆成了质量、事实约束和吞吐量三个问题。但评分来自 Claude 的判断，耗时也绑定具体硬件，不能当成通用排行榜。

真正拉开差距的是生产提示词

作者服务的是一个使用 Shopware 6 的 B2B 工装与企业服饰商店，商品超过 10,000 件。要求很具体：德语正确，不虚构属性，符合客户品牌规则。硬件是 ASUS GX10，搭载 NVIDIA GB10，CPU 与 GPU 共享 128 GB 内存，没有独立显卡。

第一轮，10 个本地模型使用相同提示词处理相同的 30 件商品。Gemma 4 系列表现最好，Gemma 4 26B 得到 288/300，12B 和 31B 紧随其后。占用 71 至 86 GB 的三个最大模型，排名反而低于占用 18 GB 的 Gemma 4 26B。

其他模型的错误包括：漏掉高可视性夹克的安全标准，把提示词中的示例误写成适用行业，以及在 SEO 元描述里编造「企业客户优惠」。

第二轮换成客户亲自编写的品牌提示词，要求语言朴素、禁用陈词滥调、严格遵守事实。仍用这 30 件商品，比较排名靠前的五个模型，分差从普通提示词下的 7 分扩大到 111 分。

作者同时收紧了评分，把语气也算进去，因此不能直接比较两轮绝对分数。不过，它指出了一个实际问题：通用提示词下表现接近的模型，遇到真实品牌约束可能差很多。

能写成规则的检查，先交给代码

第三轮固定 Gemma 4 31B，使用来自 50 个产品类型的 50 件新商品，输出可上架的 HTML 和 SEO 字段，再比较 8 种配置。

作者先调整生产流水线，认为最有效的是三件事：输入提示词前用代码清洗数据；能描述成固定模式的要求用规则执行；让 LLM 事实检查只改被标记的句子。

最后一点很实用。作者观察到，要求模型重写整篇，会把文案改得平淡。只修问题句，能减少对其他段落的干扰。

这也是一条清晰的职责边界：必填标准是否出现，可以用规则核对；语气是否自然，仍需要语言判断。原文没有给出清洗代码、规则清单或错误检出率，能借鉴的是处理顺序，尚不能复刻完整流水线。

选定模型后，还要选量化版本和服务方式

作者的配置比较得出了几组结果：

• BF16 全精度更慢，质量没有改善。
• 同为 4-bit，量化感知训练（QAT）保住了质量，训练后的量化版本损失了 22 分。
• vLLM 使用 8 个并发请求，相比 Ollama 的 2 个并发请求，处理 10,000 件商品的预计时间从约 5.4 天缩短到 1.6 天。
• Thinking mode 没有提升质量，耗时却达到 9 倍。

结构化输出使用下面的调用，关闭思考，并在需要时通过 JSON Schema 约束结果：

body = {"model": "gemma4-31b-qat", "messages": messages, "temperature": 0.3, "max_tokens": 1200,
        "chat_template_kwargs": {"enable_thinking": False},
        "response_format": {"type": "json_schema", "json_schema": {"name": "answer", "schema": schema}}}

重点看 enable_thinking: False 和 response_format：前者对应这项任务的耗时取舍，后者约束输出结构，但不会保证商品事实正确。

作者还测试了两款 2026 年 10 月的新模型：NVIDIA Nemotron 3.5 Bolt 得到 305 分，Aleph Alpha Kolibri-1 得到 290 分。同一 Gemma 配置重复运行得到 416 至 421 分，因此几分波动可能是噪声，上百分差距才更有区分度。原文没有交代这组分数的满分。

我的判断

我赞同把业务提示词、脏数据和必填事实放进评测。相比直接照搬通用榜单，这种测试更贴近商品能否上架，也更容易发现漏标准、编优惠之类的具体错误。

但这些分数由 Claude 按固定标准逐条评审，每条附有理由，作者也明确说这是有依据的判断，不是客观测量。人工复核比例、评审一致性都没说清。

QAT、关闭思考和局部改写的结论，可以作为测试起点。原文缺少完整对照表，不能据此断言它们适用于所有任务。vLLM 的速度优势也同时伴随并发数从 2 增至 8，无法把收益全部归因于服务框架。

能拿来做什么

• 做商品 HTML 和 SEO 字段生成时，先用真实品牌提示词和最差的供应商数据建立样本集，把漏写必填事实与文风问题分开记录。
• 在 Node 流水线里先清洗字段，再用固定规则检查安全标准等必填信息，把定位到的问题句交给模型修订。
• 比较本地部署方案时，记录模型构建、量化方式、并发数和思考开关；批量生成同时看质量与整批耗时，并保留人工抽检。