Agent 上下文裁剪:保留关键句并支持回读
作者比较按固定字段截断与按语句类型保留信息两种上下文压缩方式,后者保留失败描述、数字和问题,并为每份压缩输出附上可回读原文的哈希。对照使用相同模型、提示词与十二项任务,但节选未给出完整成本和准确率结果。
AI 深度解读
给 AI 的工具返回结果做裁剪,省下来的 token 可能会在下一次调用里全部花回去。作者拿两种裁剪方式做对照:一种按字段保留摘要,一种按句子类型筛选,再用哈希找回原文。结果是,后者确实能找回关键句,却花了更多 token,答对的任务还更少。
这组实验值得看的地方,是它把「信息还能找回来」和「模型拿回来以后会用」分开了。对正在给 AI 编程助手设计工具的人来说,恢复接口返回多大、模型何时停止调用,可能比摘要再短一点更影响结果。
两种裁剪方式,真正差在恢复粒度
作者沿用 11 月 19 日的分诊测试:12 份报告,每份对应 5 个 issue,模型需要找出匹配的 issue,并说出它的标签。
按字段裁剪的方案保留 issue 编号、标题、标签、评论数,以及正文前 300 个字符。信息不够时,模型可以调用工具,重新读取某一个 issue 的完整内容。
按类型裁剪的方案则筛选句子,只保留三类:描述失败的句子、包含数字的句子、提出问题的句子。每份裁剪后的列表附带一个哈希,通过哈希可以取回整个原始列表的精确字节。
这里的哈希相当于原文的领取凭证。它让被删掉的内容仍然可取,但领取单位是整个列表,不是某一个 issue,也不是某一行。
两组使用相同模型和提示词。作者称两组都重复运行,第二次结果与第一次一致,最终每组按 24 个任务计,不算作 48 个。不过,原文对「12 个任务、两次运行」与额外重复验证的计数关系交代得不够清楚,读数据时应保留这个疑问。
这也不是只改变裁剪规则的对照。两组同时改变了恢复范围:一组取回单个 issue,另一组取回完整列表。后续差距需要放在这两个变化里理解。
关键句能找回,不代表答案能找对
按类型筛选听起来比截取前 300 个字符更懂内容,但它同样会删掉决定答案的句子。
12 个任务中,有 4 个出现这种情况,分别涉及深色模式、键盘快捷键、启动缓慢和西班牙语翻译请求。决定答案的句子既不描述失败,也不带数字,还不是问句,因此没有通过筛选。
恢复机制确实工作了。这 4 个任务在两次运行中都触发了原文读取,共 8 次,没有一次因为关键句无法取回而彻底失去信息,也没有一次在不恢复原文的情况下解出答案。
但这 8 次恢复只有 4 次答对,另外 4 次答错。
作者提到,深色模式请求两次被选成崩溃问题,启动缓慢报告也被误判为崩溃问题。完整内容已经返回,模型仍然被列表里更显眼的问题吸引。
原文可恢复,只能保证信息可达,不能保证模型正确分配注意力。
这也是这篇实验最有用的区分:存储层面没有丢数据,与推理层面能够利用数据,是两项不同的能力。给摘要加上原文入口,只解决了前一项。
省下 118 个 token,却让每个任务都读了整份原文
真正拉开成本差距的,是模型根本没有选择性地恢复。
按类型裁剪的 24 次运行,全部读取了完整原文。即使另外 8 个任务的关键句一直留在摘要里,模型也没有判断「信息已经够了」,而是先列出结果,再取原文,最后才尝试回答。
两种方案的数据放在一起更直观:
| 指标 | 按字段裁剪 | 按类型裁剪并用哈希恢复 |
|---|---|---|
| 裁剪列表大小 | 560 tokens | 442 tokens |
| 单次恢复返回量 | 322 tokens,单个 issue | 约 1,550 tokens,完整列表 |
| 每任务总消耗 | 2,047 tokens | 4,997 tokens |
| 答对任务数 | 16/24 | 14/24 |
按类型裁剪的列表确实更小,少了 118 tokens。但一次恢复约为自身摘要的 3.5 倍,也接近单个 issue 恢复量的 5 倍。只要模型每次都恢复,这点摘要收益就被覆盖了。
按总量计算,4,997 / 2,047 约为 2.44。原文分别用了「两倍半」和「2.4 倍」的表述,指向的是同一组 token 差距。它没有提供具体计费价格,不能直接据此换算实际账单。
更严重的是,有 6/24 次运行没有给出答案。模型读完完整原文后继续重复读取,直到触及 6 次调用上限。这对应 3 个任务,两轮表现相同,占全部运行的四分之一。而且,这 3 个任务的关键句原本就没有被删掉。
作者推测,小模型还能处理约 320 tokens 的单个 issue,但面对约 1,550 tokens 的完整列表时容易失去焦点,随后重复上一次的取回动作。这个解释符合观察,却没有通过单独实验验证。
需要一起压缩的,还有恢复接口的返回范围。
作者最终保留的建议是:哈希适合指向足够小的内容,例如一条记录、一行或一页。每行一个哈希也被作者明确否定,但他没有实测这种方案;每份输出一个哈希是否合适,则取决于整份输出能否被模型有效处理。
我的判断
我认同作者把关注点从「删掉了什么」移到「取回来以后发生什么」。工具设计不能只统计首次返回的 token,还要看后续调用次数、恢复量和最终完成率。摘要更短,却诱发每次全量回读,整个流程仍然可能更贵。
但这组结果不足以证明按字段裁剪普遍优于按类型裁剪。字段方案恢复单条记录,类型方案恢复整个列表,变量没有拆开。它证明的是:在这套模型、提示词和任务配置下,后一个组合更差。
原文没有给出模型名称、版本、完整提示词和工具实现,也没有比较更大模型、不同调用指令或更小恢复单元。作者关于「恢复导致循环」的判断,目前仍是有现象支撑的经验解释。重复结果一致能说明这组配置表现稳定,不能替代更广的样本。
按字段摘要、按类型筛选、直接提供全文,都有各自适用条件。这里最值得带走的不是选边,而是把「如何裁剪」和「如何补读」拆开评估。
能拿来做什么
- 给 AI 编程助手设计 issue 查询工具时,可以先返回编号、标题、标签和短摘要,再允许按编号读取单个 issue。让补读范围与当前问题对应,避免一次恢复整个候选列表。
- 在 Node 工具层记录首次返回量、恢复次数、恢复返回量和最终结果。评估裁剪收益时计算完整任务消耗,同时单独统计达到调用上限却没有答案的情况。
- 如果已经使用哈希恢复,可以分别测试「摘要保留关键句」与「摘要删掉关键句」两类任务。前一类能帮助发现模型是否无条件补读,后一类能检验补读之后究竟能否答对。
- 比较裁剪策略时,尽量固定恢复粒度、模型、提示词和调用上限,再改变筛选规则。这样才能判断差距究竟来自摘要,还是来自恢复接口。