Agent 追踪中为何会重复统计令牌
作者用包含三步处理和两个工具的告警 Agent 演示令牌统计错误:直接累加追踪跨度,结果达到正确值的两倍。示例使用合成用量,并提醒在构建看板前核对实际埋点字段与仍处开发阶段的规范。
AI 深度解读
Agent 的 token 统计翻了一倍,问题可能出在统计口径。作者搭了一个处理值班告警的小型 Agent,发现父级 span 和子级调用重复记录了用量;修正后,真正的大头又浮了出来:工具返回的大段日志被后续调用反复带上。
这篇最有用的地方,是把「账单变贵」拆成了可定位、可干预的问题。不过先交代一个前提:文中的 token 数是按请求大小估算的合成数据,适合解释机制,不能直接当作真实生产环境的成本基准。
为什么把所有 span 相加,会刚好多算一倍
这个告警分诊 Agent 分三步工作,使用 search_logs 和 fetch_runbook 两个工具。追踪结构也分层:最上面是一次运行的 agent span,下面是三个 step span,再下面才是具体的 LLM 调用 span。
span 可以理解成追踪里的一条操作记录。作者在每次 LLM 调用上记录两个 OpenTelemetry GenAI 属性:
gen_ai.usage.input_tokens:这次调用的输入 token。gen_ai.usage.output_tokens:这次调用的输出 token。
问题出在父级也有统计。作者同时把整次运行的总量写进了 agent span,于是遍历所有带用量的 span 并相加,得到了 101,464;只统计 LLM 调用,结果是 50,732。父级重复汇总了子级,恰好算了两遍。
带有用量字段的 span,不一定代表一笔独立消耗。
作者采用的修正规则是:只有某个 span 自己带用量、且它的所有后代都不带用量时,才计入总数。然后再按上层的步骤、工具调用和运行归组。这里的「叶子」指用量统计上的末端,不能简单理解成没有直接子节点。
原文提到,GenAI conventions 仍处于 Development 状态,聚合方式也有尚未解决的讨论。因此,接监控前应先检查自己实际产生的 span,确认字段名称和父子关系。
输入为什么越滚越大,重试却未必最贵
修正统计后,作者看到首个调用用了 1,078 tokens,第三步的调用已经达到 16,610 tokens,但没有任何一次调用输出超过 61 tokens。
增长主要来自三部分:每次都发送的 system prompt 和工具 schemas、持续留在消息历史里的工具输出,以及重试时再次发送的完整上下文。
其中,第一步的 search_logs 返回了 400 行支付网关超时日志。这批文本进入历史后,后续调用一直带着它。第二步生成 fetch_runbook 参数时又出现 JSON 截断,循环补上一小段纠错说明,再把上下文发了一遍。
工具只执行一次,不代表它的返回内容只消耗一次输入 token。
作者再用带日期的价格表给各次调用计价,发现首次运行的第二步占了整次运行成本的 77.9%:该步第一次携带完整日志,重试又发送了一次。
但重试本身只占两次测试运行总成本的 9.2%。原因是它的 16,486 个输入 token 中,有 16,384 个命中了 prompt cache。原文提醒,如果模型没有缓存优惠费率,同样的重试就会按完整输入计费。
这两个百分比的分母不同,不能直接比较。它们也说明,token 数和金额需要分别统计,缓存会改变成本排序。
作者还引用了 2026 年研究 arXiv 2604.22750:在八个 frontier models、SWE-bench Verified 的测试中,agentic coding 任务消耗的 token 约为代码推理和代码聊天的 1,000 倍,同一任务的不同运行可相差最多 30 倍,主要由输入驱动。这是原文引用的研究结论,不能直接套成普通团队的预算倍率。
预算写进循环,才能及时拦住后续动作
作者给单次运行设了 40,000 tokens 的预算,每次收到 LLM 响应后、执行下一个工具调用前检查。
第一次运行在第三步越线,最终用了 50,732 tokens,超出 10,732;第二次运行以 34,200 tokens 完成,检查通过。
这个位置只能阻止后续动作。等响应回来,用量已经发生了。
响应后的预算检查是止损机制,不能保证硬上限。
如果需要硬限制,作者建议在调用前检查:从剩余额度中预留下一次请求的输入 token,加上最大输出 token。额度不足,就不发起调用。
单次运行之外,作者还设置了按模型统计的每日 token 阈值告警,用来发现缓慢增长。两者覆盖的问题不同:循环内检查处理某次运行失控,每日告警发现整体消耗持续抬升。
我的判断
最值得采纳的是统计口径:先弄清哪些记录代表独立调用,再谈成本优化。父级汇总值和子级明细混加,会让后续图表、告警和预算判断一起失真。
优先检查工具输出也有道理。这个例子里,400 行日志长期留在上下文,压缩它能同时影响后续多次请求,比只缩短最终回答更贴近问题来源。
但「先裁剪工具输出」仍是这个演示得出的经验之谈。作者没有提供裁剪前后的效果对照,也没有证明删减日志后仍能准确分诊。一般团队还要验证:省掉的上下文会不会让 Agent 漏掉关键线索。
另外,「按步骤看成本」比每日总额更适合定位问题,但每日账单依然适合核对实际支出。合成 token、缓存计价和真实账单之间,还需要一次校准。原文没有给出足够细节,让读者独立复算全部费用。
能拿来做什么
- 给日常 AI 编程或 Node Agent 增加用量统计时,先抽查一条完整 trace,确认父级是否重复记录子级总量,再实现末端用量聚合。
- 对日志检索、文件读取等工具,检查返回内容会被后续发送多少次;尝试限制返回范围,并验证任务结果是否仍然正确。
- 分开记录重试的输入量、缓存命中量和金额,再按步骤排序,避免仅凭重试次数决定优化方向。
- 把单次运行预算放进 Agent 循环;需要硬上限时,在调用前预留输入与最大输出额度,并用每日阈值告警补充监控。