小模型匹配工单时,截短正文更有效
本地量化 Qwen2.5-1.5B-Instruct 在先前实验中读取工单前 300 字符时答对 17/24,读取全文时答对 9/24。新实验里,摘要加全文消耗了截短方案 2.6 倍的词元,表现仍然落后,但截短会漏掉位于 300 字符之后的关键线索。
AI 深度解读
给小模型的材料太长,先放摘要能不能帮它抓住重点?作者用本地运行的 Qwen2.5-1.5B-Instruct 做了对照:摘要加全文答对 16/24,直接截断答对 17/24,前者却消耗约 2.6 倍 token。
这次实验值得看的不只是成本差异。模型反复选中同一个错误候选,补上摘要也没纠正;专门检验截断缺陷的题目,又被标签泄露了答案。它提醒我们,优化输入格式之前,得先看清模型究竟错在哪里。
摘要加全文,为什么没赢过截断
作者前一天发现,把 issue 正文限制为前 300 个字符,答对数量从全文输入时的 9/24 提高到了 17/24。读者随后提出一个合理猜想:先展示所有 issue 的短摘要,再附全文,让模型先了解候选范围,会不会更好?
新实验沿用相同的量化模型 Qwen2.5-1.5B-Instruct,在本地运行,使用相同的 12 个任务和提示词,temperature 为 0,每个任务最多允许调用六次。三种输入分别是:
- 全文组提供五个 issue 的完整内容。
- 截断组保留标题、标签,以及正文前 300 个字符。
- 摘要组先列出每个 issue 的五字段摘要,再附完整正文。
按作者报告的 24 次任务统计,摘要组答对 16 次,准确率 66.7%;截断组答对 17 次,为 70.8%;全文组答对 9 次,为 37.5%。
摘要确实比直接塞全文好,但没有超过截断。它还增加了输入负担:每轮平均 prompt token,摘要组为 1,724,截断组为 673,全文组为 1,421。每个任务的 token 消耗分别为 5,172、2,020 和 5,475。摘要组的首次提示有 7,686 个字符,截断组只有 2,275 个。
这次实验支持的是「摘要加全文没有体现出成本优势」,而不是「摘要没有用」。
这里测的并非用摘要替换全文,而是在全文前面再加一层摘要。两种方案的信息量和成本结构不同,结论不能混用。
真正卡住模型的,是它认准一个候选就不再比较
摘要组在 24 次任务里,有 10 次回答 issue 412,其中 8 次错误。更关键的是,摘要组全部八次失败,都给出了同一个答案:412,bug。
原本应该选择 397(enhancement)、393(documentation)、404(bug)或 375(good first issue)的任务,都被它归到了 412。
412 是一个启动即崩溃的问题。作者认为,这个描述比其他候选更醒目,模型于是反复被它吸引。摘要虽然把五个候选提前展示出来,却没有让模型认真比较它们。关于「醒目描述吸引注意」的解释属于作者推断;反复回答 412,则是实验里直接观察到的行为。
调用过程也提供了线索。作者报告,每个任务都恰好用了三轮:列出 issue,重读准备选择的那一个,然后作答。每次只有一次回看。
这次回看是在确认已有选择,没有扩大搜索范围。对日常 AI 编程也有启发:让模型「再检查一下」,不一定会促使它重新考虑其他文件或其他原因。检查动作存在,不代表候选比较已经发生。
作者因此提出,下一步可以要求模型先列出两个候选,再决定答案。但这只是待验证的实验方向,原文没有提供它能改善结果的数据。
截断组答对了,也可能没有读到关键证据
截断的明显风险是丢信息。作者增加了第 13 个任务,把决定性线索藏在正文前 300 个字符之后,想检验这个缺点。
结果是摘要组两次答对,截断组也两次答对,全文组两次失败。全文组仍然重读并选择了 412。
截断组怎么看不到线索还能答对?因为 issue 417 的标题和 bug 标签已经提供了判断信号,而干扰项 419 的标签是 enhancement。模型可以利用可见字段选中答案,根本不需要读取后面的线索。
因此,这道题的正确率是真的,但它没有测出模型是否能利用正文后半段的信息。要隔离这个能力,就得同时去掉会泄露答案的标签。
重复实验也有类似的解释边界。所有组都运行两遍,第二遍的答案和 token 数与第一遍完全一致。作者将其归因于 temperature 0 加上服务端 prompt cache,并明确表示:这是一次测量得到稳定复现,不能当成两次独立测量,更不能把 24 算成 48。
耗时则变化很大:摘要组第一次运行用了 2,914 秒,第二次为 269 秒。作者将首次耗时归因于早晨的 CPU 负载。因此,耗时不能直接替代 token 成本来比较方案。
我的判断
我赞同作者先保留截断方案的选择:在这个小规模任务里,它更省 token,成绩也没有落后。但 17/24 和 16/24 只差一次作答,不能据此宣称截断在准确率上普遍更强。
实验的适用范围也很窄:一个本地量化的 1.5B 模型、五个候选、固定提示词。原文没有给出量化规格,也没有跨模型、跨候选规模的对照。作者关于「候选很多时摘要更合适」的判断有合理动机,但仍是经验之谈。
此外,原文同时提到 12 个基础任务、额外的第 13 题和 24 次任务统计,三者的计数关系没有完全交代清楚。这里应保留原报告口径,不宜自行补出实验设计。
最有价值的发现,是错误集中在同一个候选,而不是某种输入格式赢了一次。
如果失败来自过早锁定候选,继续润色摘要未必对症。要求比较候选、调整干扰项、消除标签泄露,都比只看最终正确率更值得继续验证。
能拿来做什么
- 给本地小模型做 issue 分类或筛选时,可以把「标题、标签、正文前 300 个字符」设为基线,同时记录正确率与 token 消耗,再决定是否增加摘要和全文。
- 排查 AI 编程助手的误判时,记录它反复选择的文件、问题或候选,检查所谓的二次确认是否只重读了最初选中的对象。
- 设计长文本评测时,把关键证据放到截断位置之后,并检查标题、标签等可见字段是否提前暴露答案。
- 可以试验让模型先列出两个候选及各自证据,但要用自己的任务验证,不能把作者尚未测试的建议当成已证实的改进。