测大模型复读率时先分离推理与答案
作者用 Ollama 和 llama.cpp 测试同一本地模型,发现混合输出中的句子重复率从 76% 降到 6%,这一指标主要反映了推理文本。文章解释了如何拆开推理与最终答案来测量重复率。
AI 深度解读
同一个本地模型写作文,调参前有 76% 的句子重复,调参后只剩 6%。但作者用 llama-server 把推理和最终答案拆开一算,发现最终答案在所有测试条件下都是 0% 重复。反复打转的是推理过程。
如果你也在给本地模型做评测,这组结果最值得看的是指标取了哪段文本。把推理和答案混在一起,可能会把一次上下文预算问题报成答案质量问题,甚至让一条空答案拿到 0% 的重复率。
76% 和 0% 分别量了什么?
作者在 Mac mini 上用 Ollama 和 llama.cpp 的 llama-server 测了同一个模型 qwen3.5-abliterated:9b,提示词都是写一篇约 1,000 字符的日本四季短文。指标按句子算。先切句,一句话只要之前出现过,就把这一次计为重复,再除以总句数。
在作者的用法里,ollama run 把推理和最终答案混在同一份输出里。未设置防重复参数时,整份输出有 16,291 个字符,句子重复率是 76%。把 repeat_penalty 设为 1.3、repeat_last_n 设为 1024 后,用同一口径测得 6%。
llama-server 则把推理和最终答案分开返回。作者分别统计后发现,即使没有防重复设置,最终答案的句子重复率也是 0%,循环出现在推理里。6% 是混合输出的重复率,0% 是最终答案的重复率,两个数字不能用来给两套运行栈排高低。
答案没重复,推理还值得管吗?
值得。推理循环会占用上下文预算,也可能拖长等待时间。作者估计首轮推理用了约 16,000 个字符,这个数字是字符数。在 ctx 8192 的一次运行里,推理用完了可用预算,最终答案为空。原文没有给出延迟实测数据,但空答案已经是一次可观察的失败。
调参也有代价。作者用较强的 DRY 设置压住了推理重复,但在 multiplier 0.8 时,答案里的引号从每 1,000 字符 1.3 次升到了 52.3 次,读起来更不自然。只盯着重复率,这个变化很容易被漏掉。
我的判断
作者最有说服力的一点是,评测之前得确认客户端究竟交回了什么。团队如果已经在用混合日志排查生成异常,整段统计仍有用。要验收用户看到的文本,就单独测最终答案。句子去重也有边界,它能抓住原句反复出现,却抓不住同一个意思来回说。
至于 repeat_penalty 1.3 配 repeat_last_n 1024 能否推广,原文只有一个模型、一条提示词,每个条件只跑一次。采样波动和参数影响没有分开,也没有两套运行栈在同一统计口径下的对照数据。参数效果应当按单次实验的经验看,76% 降到 6% 也不足以证明答案质量有提升。
能拿来做什么
- 给本地 AI 编程工具写 Node 评测脚本时,先检查客户端是否分别返回推理和最终答案。如果只能拿到合并文本,就把报表指标命名为「混合输出句子重复率」。
- 如果前端只展示最终答案,就对这段文本单独算重复率。先检查答案是否为空,把空答案计为失败,避免在报表上显示为表现良好的 0%。
- 调防重复参数时,用同一组提示词在每个条件下多跑几次,同时记录推理长度、等待时间和最终答案的可读性。这样才能判断压住循环后,用户实际收到的内容有没有变差。