搜索结果截短省 Token,也可能截掉答案
作者设计了包含 12 道问题、每题 5 个网页的对照实验,比较完整页面文本与仅保留标题、链接及前 200 字符的检索输入。实验刻意改变关键事实的位置,检验上下文裁剪与后续打开网页机制的影响;摘录未给出具体通过率。
AI 深度解读
把搜索结果截短,既省 token,又能让小模型少受干扰,这个经验很容易被当成通用优化。作者把此前在 GitHub 场景有效的做法搬到网页搜索上,结果反了:完整页面答对 22/24,截断后只答对 20/24,单任务 token 用量也只降了约 12%。
这次实验值得读,是因为它拆开了两个经常被混在一起的问题:减少输入,能不能保住答案;单次结果变短,能不能压住整个对话的成本。对做搜索问答、文档助手和 AI 编程工具的人,这两个问题都很实际。
截掉的是噪声,还是答案本身?
实验来自读者 helve_dev 的观察:网页搜索和提取工具返回完整 Markdown、JSON 时,小模型容易被最长、最显眼的内容带偏。他在真实调用记录中见过,旧结果经过 15 或 20 轮不断累积,模型读到的模板内容越来越多。裁剪到承载答案的字段后,准确率和费用都有改善,但他没有做过带评分的双组对照。
作者于是设计了 12 个问题,每题配 5 个专门编写的网页,要求模型返回准确的版本、价格、命令参数或限制值。两组使用同一个小模型,调用上限都是 6 次:
- 完整组直接在搜索结果里看到全文。
- 裁剪组只看到标题、链接和页面前 200 个字符,剩余内容需要打开页面。
- 6 个问题的关键事实位于前 200 个字符,另外 6 个藏在后面。
两组都重复运行,第二次结果与第一次完全一致。作者按每组 24 个任务报告成绩,没有把重复结果继续算成 48 个;原文没有进一步解释问题数与任务数的对应关系。
完整组答对 22/24,裁剪组答对 20/24。裁剪组在片段包含答案的任务上拿到 12/12,答案藏在后面的任务只拿到 8/12;完整组则答对了全部 12 个隐藏答案任务。
最典型的错误是套餐价格。问题问调价后的团队套餐单席位价格,片段先出现个人套餐的 $8,模型就回答 $8,没有打开页面。正确答案 $12 在后面三句话的位置。另一个问题问跳过构建缓存的命令参数,片段里没有该参数,模型打开了错误的缓存指南,最终给出一个缓存命令。
问题不只是答案被截掉了,而是留下来的内容足够像答案。
模型把片段当成了可直接作答的证据,没有继续核对它是否属于目标套餐、目标命令。
省下的 token,为什么打开页面后又回来了?
裁剪组平均每轮使用 513 tokens,完整组是 556;平均每任务分别是 1,472 和 1,667,节省约 12%。此前 GitHub 场景的裁剪节省了 63%,这次远没有那么明显。
首先,测试页面本来就短,全文与裁剪结果只差约 70 tokens。其次,裁剪组需要更频繁地打开页面:平均每任务 0.67 次,完整组是 0.42 次。每打开一次,全文就进入对话历史,后续轮次还要继续携带。
按轮次看,两组第一轮都约为 162 tokens;第二轮完整组为 722,裁剪组为 651;第三轮则变成 783 和 791。到第三轮,裁剪组的输入反而更大。
这里的大白话解释是:搜索时少给一点,打开网页时又补回来;已经补回来的内容,还会跟着后面的请求一起发送。单次工具返回变短,并不等于整个任务的历史变短。
两组从第一轮到第三轮都增长到接近 5 倍。裁剪没有改变历史累积的走势,最多让增长晚出现一轮。不过,实验中的所有任务都在 3 轮内结束,并没有实际跑到读者提到的 15 至 20 轮。前三轮的数据能证明补读会侵蚀收益,不能直接证明长循环最终会花多少钱。
完整页面和短片段,会丢掉不同的事实
完整组也没有全对。它失手的问题需要同时返回一个版本和一个日期,模型只答了日期,漏掉版本。裁剪组答对了这道题,也答对了全部 3 道需要两个事实的问题。
作者据此提出一个有限的观察:短结果可能有助于模型同时保留多个事实。但只有 3 道题,证据不足以支持普遍结论。
这也解释了为什么此前 GitHub 场景成功,这次网页场景却失败。GitHub 测试里的决定性事实,按设计都放在前 300 个字符内;网页测试没有这个保证。页面可以先介绍便宜套餐,再介绍团队套餐,固定截取开头自然可能留下错误对象的信息。
截取前 200 个字符,是位置裁剪,不是答案摘要。
作者最后保留的建议因此收窄了:可以缩短搜索结果,但片段需要围绕答案组织;如果答案可能位于截断位置之后,就要给模型一个必须打开页面核实的理由。原文没有继续用对照实验验证具体的片段生成策略,也没有给出经过验证的提示词。
我的判断
我认同这篇文章对「裁剪能同时提升准确率和降低成本」的修正。它给出了具体反例:文本少了,模型反而更容易被一个看似合理的错误值吸引。做工程优化时,不能只看输入长度,还要检查正确证据是否仍然可见。
但这组实验的边界很窄。网页是专门编写的,篇幅较短,任务要求提取精确值,原文也没有公开小模型名称、具体版本和完整提示词。它证明了这种设置下存在失败模式,不能据此给所有搜索助手下结论。
重复运行结果一致,说明这批任务上的行为较稳定,但没有增加题目覆盖面。短片段更适合同时记住多个事实,也仍是小样本观察。
和固定截取开头相比,围绕问题提取相关段落,或者要求回答前打开来源页面,都是可尝试的替代方案。不过,前者可能提取错,后者会增加调用与历史内容。作者没有给这些方案的对照数据,不能把它们当成已经验证的修复。
能拿来做什么
- 给前端文档助手或 Node 搜索工具做裁剪时,把「答案在片段内」和「答案在片段外」分开评测,并加入同页多个版本、套餐或相近命令的干扰,观察模型会不会提前停止查找。
- 如果工具只返回开头片段,就明确标注内容不完整,并尝试要求模型核对目标对象后再回答;把它作为待验证的策略,检查它是否真的促使模型打开正确页面。
- 统计费用时,同时记录每任务总 tokens、打开页面次数和各轮输入长度,避免仅凭搜索结果缩短了多少,就判断整个任务更便宜。
- 对需要同时返回版本与日期等多个字段的任务,单独检查字段是否齐全。全文和裁剪可能分别导致遗漏与误答,只看总正确率容易掩盖差异。