邮件引用重复让模型输入膨胀十倍
文章用合成的十封邮件展示:正文仅 487 个 token,叠加逐层引用后输入达到 5,068 个 token。工单摘要应用直接拼接邮件,会让模型反复读取历史内容。
AI 深度解读
给 AI 做工单摘要,费用偏高,问题可能出在邮件客户端:每次回复都把历史邮件再贴一遍,拼接整条会话后,同一段文字被模型反复读取。作者用一条人工构造的邮件线程测试,487 tokens 的新增正文,最终变成了 5,068 tokens 输入。
这篇文章值得看,不只是因为它给了一个去引用的正则,更因为它拆清了两个容易混淆的问题:输入缩小多少,账单就能省多少吗?删掉重复内容,又会不会一起删掉理解问题所需的上下文?
为什么十封短邮件会膨胀到十倍
作者构造了一个包含 10 条消息的客服线程:客户被重复扣款,客服处理,最后退款。每条新增消息只有 26–65 tokens,带两行签名,纯文本按 72 个字符折行。每次回复都引用上一封邮件,而上一封又带着更早的引用。
用 tiktoken 的 o200k_base 编码计数,全部新增正文合计 487 tokens;把每封存储邮件拼起来,则有 5,068 tokens,膨胀到 10.4 倍。即使只取最后一封,也有 1,030 tokens,超过整段新增正文的两倍。
重复还不是全部开销。假设各封消息长度接近,只计算正文复制,N 封邮件的膨胀倍数约为 (N + 1) / 2:10 封是 5.5 倍,20 封是 10.5 倍。
实际值更高,主要多在两处:
- 引用层级增加了
>标记。作者示例中,一行原本 10 tokens,引用一层后是 11,五层后是 15,九层后是 19。第 10 封邮件里,标记就占了 36%。 On ... wrote:这样的引用提示行,以及签名,也会随正文逐层复制。
把引用符号紧贴成 >>> 能稍微省一点,同一线程降到 4,240 tokens,但大量重复仍然存在。
送进模型的文本长度,可能主要由邮件存储格式决定,而不是由实际对话量决定。
输入少了十倍,为什么费用只降到约四分之一
作者设定的任务是:每次发送 300 tokens 指令,加上完整线程,生成 150 tokens 摘要,每天处理 1,000 个工单。
按作者所在 LLM gateway 的目录快照,gpt-5.6 标价为输入每百万 tokens 2 美元、输出每百万 tokens 12 美元。原始线程每次约花 0.0125 美元,去掉引用后约为 0.0034 美元,相差 3.7 倍;文中月费对比为 376 美元与 101 美元。
同样条件下,gpt-5.6-mini 的月费是 37.61 美元与 10.12 美元。claude-haiku-5.5 和 claude-sonnet-5.5 的费用差为 4.0 倍,作者解释是它们的输出相对便宜,输入在总账单里的占比更大。这些都是原文快照下的计算,不能当作当前报价。
为什么输入缩小了 10.4 倍,费用只差 3.7 倍?因为指令没变,输出也没变,而示例中的输出单价是输入的六倍。
任务形态也会改变结果。如果机器人每收到一封邮件就起草一次回复,每次都要支付指令和输出费用。按作者使用的同一组数字,清理引用只能节省 27%,费用差为 1.37 倍。
因此,先看输入、指令、输出各占多少钱,再估算收益,才不会把 token 降幅直接写成成本降幅。
去引用要保住每封新消息,也要保住问答关系
作者的处理方式是逐封清理,只留下每位发件人新写的内容,再组合成线程。因为完整历史已经分开保存,每句话保留一次,仍能覆盖全部对话。
下面这段代码解决的是特定格式的纯文本引用:
import re
QUOTE = re.compile(r"^On .+ wrote:\n(?:>.*(?:\n|$))*", re.M)
def strip_quotes(text):
return QUOTE.sub("", text).rstrip()
msg = "Thanks, refund received!\n\nOn Mon, Nov 3, 2026, Support wrote:\n> The refund\n> was issued today.\n>> Any update?"
print(strip_quotes(msg))
重点看 QUOTE 那一行:它匹配以 On 开头、以 wrote: 结束的提示行,以及紧随其后、以 > 开头的引用行。作者测试中,清理后精确恢复了各封新增正文,合计回到 487 tokens。
但这不是通用邮件解析器。HTML 邮件可能用 <blockquote>,也可能用带客户端专属 class 的 div;德语提示词可能是 schrieb,俄语可能是 написал。原文建议按实际收到的格式补规则,或使用了解这些格式的邮件解析库。
还有更容易误删的内联回复。例如,用户在引用的「哪张卡?」下面回答「尾号 4471 的 Visa」。只保留答案,问答关系就断了。作者建议遇到这类格式时,保留每段内联答案正上方的引用行。
我的判断
我认同先清理确定重复的文本。相较于直接换便宜模型,这一步直接减少无效输入;相较于先让模型压缩历史,它也不需要额外调用模型。
但文章证明的是一个有限结论:这段正则在作者构造的纯文本线程上,能恢复新增正文。它没有提供真实工单的覆盖率,也没有给出清理前后摘要质量的对照数据,不能据此认定生产环境里可以无损删除所有引用。
作者推测,真实邮件包含更长签名、法律页脚和转发链,重复可能更多,但明确承认没有测量。这个判断应保留为推测。
计数也有边界:实验只用了 tiktoken 的 o200k_base,Claude、Gemini 的分词方式不同。原文将它描述为 OpenAI 当前模型使用的编码,但没有列出适用模型范围。实际接入时,应以目标模型对应的计数和调用用量为准。
能拿来做什么
- 如果你在给客服或邮件系统接 AI 摘要,先抽取实际线程,对比清理前后的 token 数,并把指令、输入和输出费用分开计算。
- 在 Node 服务的模型调用之前增加邮件清理步骤,按纯文本、HTML 和实际收到的语言格式分别处理,同时保留原始邮件用于排查误删。
- 用包含内联回答、长签名和转发链的真实样本检查结果,重点确认清理后是否仍能判断谁提出问题、谁回答问题,以及退款等事项是否已经完成。
- 为整条线程摘要和逐封起草回复分别评估收益,不要把文中的 3.7 倍费用差直接套到所有 AI 邮件功能上。