基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 12:00

小模型匹配工单时,截短正文更有效

dev.to · AI#小模型#上下文裁剪#提示词评测
Editor brief · 编辑速览

本地量化 Qwen2.5-1.5B-Instruct 在先前实验中读取工单前 300 字符时答对 17/24,读取全文时答对 9/24。新实验里,摘要加全文消耗了截短方案 2.6 倍的词元,表现仍然落后,但截短会漏掉位于 300 字符之后的关键线索。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给小模型的材料太长,先放摘要能不能帮它抓住重点?作者用本地运行的 Qwen2.5-1.5B-Instruct 做了对照:摘要加全文答对 16/24,直接截断答对 17/24,前者却消耗约 2.6 倍 token。

这次实验值得看的不只是成本差异。模型反复选中同一个错误候选,补上摘要也没纠正;专门检验截断缺陷的题目,又被标签泄露了答案。它提醒我们,优化输入格式之前,得先看清模型究竟错在哪里。

摘要加全文,为什么没赢过截断

作者前一天发现,把 issue 正文限制为前 300 个字符,答对数量从全文输入时的 9/24 提高到了 17/24。读者随后提出一个合理猜想:先展示所有 issue 的短摘要,再附全文,让模型先了解候选范围,会不会更好?

新实验沿用相同的量化模型 Qwen2.5-1.5B-Instruct,在本地运行,使用相同的 12 个任务和提示词,temperature 为 0,每个任务最多允许调用六次。三种输入分别是:

  • 全文组提供五个 issue 的完整内容。
  • 截断组保留标题、标签,以及正文前 300 个字符。
  • 摘要组先列出每个 issue 的五字段摘要,再附完整正文。

按作者报告的 24 次任务统计,摘要组答对 16 次,准确率 66.7%;截断组答对 17 次,为 70.8%;全文组答对 9 次,为 37.5%。

摘要确实比直接塞全文好,但没有超过截断。它还增加了输入负担:每轮平均 prompt token,摘要组为 1,724,截断组为 673,全文组为 1,421。每个任务的 token 消耗分别为 5,172、2,020 和 5,475。摘要组的首次提示有 7,686 个字符,截断组只有 2,275 个。

这次实验支持的是「摘要加全文没有体现出成本优势」,而不是「摘要没有用」。

这里测的并非用摘要替换全文,而是在全文前面再加一层摘要。两种方案的信息量和成本结构不同,结论不能混用。

真正卡住模型的,是它认准一个候选就不再比较

摘要组在 24 次任务里,有 10 次回答 issue 412,其中 8 次错误。更关键的是,摘要组全部八次失败,都给出了同一个答案:412,bug。

原本应该选择 397(enhancement)、393(documentation)、404(bug)或 375(good first issue)的任务,都被它归到了 412。

412 是一个启动即崩溃的问题。作者认为,这个描述比其他候选更醒目,模型于是反复被它吸引。摘要虽然把五个候选提前展示出来,却没有让模型认真比较它们。关于「醒目描述吸引注意」的解释属于作者推断;反复回答 412,则是实验里直接观察到的行为。

调用过程也提供了线索。作者报告,每个任务都恰好用了三轮:列出 issue,重读准备选择的那一个,然后作答。每次只有一次回看。

这次回看是在确认已有选择,没有扩大搜索范围。对日常 AI 编程也有启发:让模型「再检查一下」,不一定会促使它重新考虑其他文件或其他原因。检查动作存在,不代表候选比较已经发生。

作者因此提出,下一步可以要求模型先列出两个候选,再决定答案。但这只是待验证的实验方向,原文没有提供它能改善结果的数据。

截断组答对了,也可能没有读到关键证据

截断的明显风险是丢信息。作者增加了第 13 个任务,把决定性线索藏在正文前 300 个字符之后,想检验这个缺点。

结果是摘要组两次答对,截断组也两次答对,全文组两次失败。全文组仍然重读并选择了 412。

截断组怎么看不到线索还能答对?因为 issue 417 的标题和 bug 标签已经提供了判断信号,而干扰项 419 的标签是 enhancement。模型可以利用可见字段选中答案,根本不需要读取后面的线索。

因此,这道题的正确率是真的,但它没有测出模型是否能利用正文后半段的信息。要隔离这个能力,就得同时去掉会泄露答案的标签。

重复实验也有类似的解释边界。所有组都运行两遍,第二遍的答案和 token 数与第一遍完全一致。作者将其归因于 temperature 0 加上服务端 prompt cache,并明确表示:这是一次测量得到稳定复现,不能当成两次独立测量,更不能把 24 算成 48。

耗时则变化很大:摘要组第一次运行用了 2,914 秒,第二次为 269 秒。作者将首次耗时归因于早晨的 CPU 负载。因此,耗时不能直接替代 token 成本来比较方案。

我的判断

我赞同作者先保留截断方案的选择:在这个小规模任务里,它更省 token,成绩也没有落后。但 17/24 和 16/24 只差一次作答,不能据此宣称截断在准确率上普遍更强。

实验的适用范围也很窄:一个本地量化的 1.5B 模型、五个候选、固定提示词。原文没有给出量化规格,也没有跨模型、跨候选规模的对照。作者关于「候选很多时摘要更合适」的判断有合理动机,但仍是经验之谈。

此外,原文同时提到 12 个基础任务、额外的第 13 题和 24 次任务统计,三者的计数关系没有完全交代清楚。这里应保留原报告口径,不宜自行补出实验设计。

最有价值的发现,是错误集中在同一个候选,而不是某种输入格式赢了一次。

如果失败来自过早锁定候选,继续润色摘要未必对症。要求比较候选、调整干扰项、消除标签泄露,都比只看最终正确率更值得继续验证。

能拿来做什么

  • 给本地小模型做 issue 分类或筛选时,可以把「标题、标签、正文前 300 个字符」设为基线,同时记录正确率与 token 消耗,再决定是否增加摘要和全文。
  • 排查 AI 编程助手的误判时,记录它反复选择的文件、问题或候选,检查所谓的二次确认是否只重读了最初选中的对象。
  • 设计长文本评测时,把关键证据放到截断位置之后,并检查标题、标签等可见字段是否提前暴露答案。
  • 可以试验让模型先列出两个候选及各自证据,但要用自己的任务验证,不能把作者尚未测试的建议当成已证实的改进。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用十个真实任务评估本地模型
下一篇
安装 Claude Code 技能前做四项检查

资讯速览

dev.to · AI · 2026-11-20 12:00

AI 评分 8.0 / 10

相关标签

#小模型#上下文裁剪#提示词评测

继续阅读

  • 复盘编程智能体的任务级联阻塞
  • 用十个真实任务评估本地模型
  • 安装 Claude Code 技能前做四项检查
  • 让 Claude Code 和 Codex 分工修页面
  • 腾讯开放百万上下文模型 Hy4 权重