基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-22 20:00

邮件引用重复让模型输入膨胀十倍

dev.to · AI#上下文优化#成本控制#邮件处理
Editor brief · 编辑速览

文章用合成的十封邮件展示:正文仅 487 个 token,叠加逐层引用后输入达到 5,068 个 token。工单摘要应用直接拼接邮件,会让模型反复读取历史内容。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 AI 做工单摘要,费用偏高,问题可能出在邮件客户端:每次回复都把历史邮件再贴一遍,拼接整条会话后,同一段文字被模型反复读取。作者用一条人工构造的邮件线程测试,487 tokens 的新增正文,最终变成了 5,068 tokens 输入。

这篇文章值得看,不只是因为它给了一个去引用的正则,更因为它拆清了两个容易混淆的问题:输入缩小多少,账单就能省多少吗?删掉重复内容,又会不会一起删掉理解问题所需的上下文?

为什么十封短邮件会膨胀到十倍

作者构造了一个包含 10 条消息的客服线程:客户被重复扣款,客服处理,最后退款。每条新增消息只有 26–65 tokens,带两行签名,纯文本按 72 个字符折行。每次回复都引用上一封邮件,而上一封又带着更早的引用。

用 tiktoken 的 o200k_base 编码计数,全部新增正文合计 487 tokens;把每封存储邮件拼起来,则有 5,068 tokens,膨胀到 10.4 倍。即使只取最后一封,也有 1,030 tokens,超过整段新增正文的两倍。

重复还不是全部开销。假设各封消息长度接近,只计算正文复制,N 封邮件的膨胀倍数约为 (N + 1) / 2:10 封是 5.5 倍,20 封是 10.5 倍。

实际值更高,主要多在两处:

  • 引用层级增加了 > 标记。作者示例中,一行原本 10 tokens,引用一层后是 11,五层后是 15,九层后是 19。第 10 封邮件里,标记就占了 36%。
  • On ... wrote: 这样的引用提示行,以及签名,也会随正文逐层复制。

把引用符号紧贴成 >>> 能稍微省一点,同一线程降到 4,240 tokens,但大量重复仍然存在。

送进模型的文本长度,可能主要由邮件存储格式决定,而不是由实际对话量决定。

输入少了十倍,为什么费用只降到约四分之一

作者设定的任务是:每次发送 300 tokens 指令,加上完整线程,生成 150 tokens 摘要,每天处理 1,000 个工单。

按作者所在 LLM gateway 的目录快照,gpt-5.6 标价为输入每百万 tokens 2 美元、输出每百万 tokens 12 美元。原始线程每次约花 0.0125 美元,去掉引用后约为 0.0034 美元,相差 3.7 倍;文中月费对比为 376 美元与 101 美元。

同样条件下,gpt-5.6-mini 的月费是 37.61 美元与 10.12 美元。claude-haiku-5.5 和 claude-sonnet-5.5 的费用差为 4.0 倍,作者解释是它们的输出相对便宜,输入在总账单里的占比更大。这些都是原文快照下的计算,不能当作当前报价。

为什么输入缩小了 10.4 倍,费用只差 3.7 倍?因为指令没变,输出也没变,而示例中的输出单价是输入的六倍。

任务形态也会改变结果。如果机器人每收到一封邮件就起草一次回复,每次都要支付指令和输出费用。按作者使用的同一组数字,清理引用只能节省 27%,费用差为 1.37 倍。

因此,先看输入、指令、输出各占多少钱,再估算收益,才不会把 token 降幅直接写成成本降幅。

去引用要保住每封新消息,也要保住问答关系

作者的处理方式是逐封清理,只留下每位发件人新写的内容,再组合成线程。因为完整历史已经分开保存,每句话保留一次,仍能覆盖全部对话。

下面这段代码解决的是特定格式的纯文本引用:

import re

QUOTE = re.compile(r"^On .+ wrote:\n(?:>.*(?:\n|$))*", re.M)

def strip_quotes(text):
    return QUOTE.sub("", text).rstrip()

msg = "Thanks, refund received!\n\nOn Mon, Nov 3, 2026, Support wrote:\n> The refund\n> was issued today.\n>> Any update?"
print(strip_quotes(msg))

重点看 QUOTE 那一行:它匹配以 On 开头、以 wrote: 结束的提示行,以及紧随其后、以 > 开头的引用行。作者测试中,清理后精确恢复了各封新增正文,合计回到 487 tokens。

但这不是通用邮件解析器。HTML 邮件可能用 <blockquote>,也可能用带客户端专属 class 的 div;德语提示词可能是 schrieb,俄语可能是 написал。原文建议按实际收到的格式补规则,或使用了解这些格式的邮件解析库。

还有更容易误删的内联回复。例如,用户在引用的「哪张卡?」下面回答「尾号 4471 的 Visa」。只保留答案,问答关系就断了。作者建议遇到这类格式时,保留每段内联答案正上方的引用行。

我的判断

我认同先清理确定重复的文本。相较于直接换便宜模型,这一步直接减少无效输入;相较于先让模型压缩历史,它也不需要额外调用模型。

但文章证明的是一个有限结论:这段正则在作者构造的纯文本线程上,能恢复新增正文。它没有提供真实工单的覆盖率,也没有给出清理前后摘要质量的对照数据,不能据此认定生产环境里可以无损删除所有引用。

作者推测,真实邮件包含更长签名、法律页脚和转发链,重复可能更多,但明确承认没有测量。这个判断应保留为推测。

计数也有边界:实验只用了 tiktoken 的 o200k_base,Claude、Gemini 的分词方式不同。原文将它描述为 OpenAI 当前模型使用的编码,但没有列出适用模型范围。实际接入时,应以目标模型对应的计数和调用用量为准。

能拿来做什么

  • 如果你在给客服或邮件系统接 AI 摘要,先抽取实际线程,对比清理前后的 token 数,并把指令、输入和输出费用分开计算。
  • 在 Node 服务的模型调用之前增加邮件清理步骤,按纯文本、HTML 和实际收到的语言格式分别处理,同时保留原始邮件用于排查误删。
  • 用包含内联回答、长签名和转发链的真实样本检查结果,重点确认清理后是否仍能判断谁提出问题、谁回答问题,以及退款等事项是否已经完成。
  • 为整条线程摘要和逐封起草回复分别评估收益,不要把文中的 3.7 倍费用差直接套到所有 AI 邮件功能上。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
低价推理服务曝密钥窃取与请求窥探
下一篇
Inkling 2 Mini 以层循环增加推理计算

资讯速览

dev.to · AI · 2026-11-22 20:00

AI 评分 8.0 / 10

相关标签

#上下文优化#成本控制#邮件处理

继续阅读

  • 用结构化交接减少智能体跨会话返工
  • 低价推理服务曝密钥窃取与请求窥探
  • Inkling 2 Mini 以层循环增加推理计算
  • 实测智能体付款的 x402 与 MCP 接口
  • 给编程智能体加一个本地部署入口