按任务结果核算 Agent 的真实成本
文章将企业 Agent 成本拆解为模型调用、重试、工具与 API、基础设施、评估观测及人工审核,并强调关联任务是否完成。相比单看 Token 单价,按任务、Agent 和团队归因更能识别昂贵的失败。
AI 深度解读
AI Agent 便宜不便宜,不能只看模型每百万 token 的报价。一个任务可能经历多轮规划、工具调用和重试,最后还得交给人工收尾。账单付了,事情却没办完,这才是企业最容易低估的成本。
原文提出的核心指标是「每个已完成任务的成本」:把失败、基础设施、评估和人工复核都算进去,再除以真正完成的任务数。它没有提供实测降本数据,但给出了一套适合检查 Agent 账单和监控设计的核算框架。
为什么请求便宜,任务却可能很贵
模型供应商按 token 收费,业务方购买的却是结果。一次模型请求结束,不代表一个业务任务完成。
Agent 往往先规划,再调用搜索、检索或数据库,读取结果后继续规划,遇到错误还会重试。前面生成的内容和工具返回值可能被放进后续上下文,反复发送给模型。于是,调用次数增加时,单次调用的输入也可能变长。
作者据此判断,支出可能比步骤数增长得更快。这个判断有前提:上下文持续累积并被重新发送。如果系统主动裁剪、摘要或限制上下文,成本曲线就可能不同。原文没有给出不同策略的对照数据。
更关键的是,失败任务照样消耗资源。按请求计算平均成本,能回答「调用一次花多少钱」,却无法回答「办成一件事花多少钱」。
请求是执行过程,完成任务才是核算结果的单位。
因此,第一步不是接监控,而是定义任务边界和完成条件。例如,客服场景可以统计已解决的工单,分析场景可以统计已完成的分析。只记录模型正常返回,很容易把业务失败当作成功。
一次成功任务,到底要背哪些账
原文用下面的公式统一核算口径,解决失败支出和隐性费用散落各处的问题:
Cost per completed task =
( model tokens + retries and failed attempts + tool and API calls
+ infrastructure + evaluation and telemetry + human review )
÷ completed tasks
要看最后一行:分母只统计已完成任务,分子却包含失败和放弃的尝试。这样才能让不可靠的 Agent 显露出真实代价。
分子可以分成六部分。
模型费用要覆盖任务的每一步输入和输出,不能只记首次调用。如果不同步骤使用不同档位的模型,就要分别匹配价格。
重试与失败费用包括报错后的再次尝试、没有产出的循环,以及被放弃的任务。实际记账时还要避免重复计算:失败调用的 token 如果已经计入模型费用,就应通过任务状态归类,而不是再加一遍。原文列出了成本类别,但没有交代具体账本实现。
工具和 API 费用来自搜索、检索、数据库及第三方服务。它们可能与模型费用出现在不同账单里,单看模型控制台会漏掉这一块。
基础设施费用包括编排计算、向量存储、队列和网关。多个 Agent 共用资源时,需要固定分摊规则,例如按任务占比或计算时间分配,不能每次复盘临时换口径。
评估和可观测性也有成本。遥测数据的采集、存储、保留,以及自动评估调用模型的费用,都应纳入账单。监控带来的可见性有价值,但并非免费。
最后是人工复核与补救,包括升级处理、纠错和手动检查。作者认为,在受监管或高影响任务中,这可能是最大的成本项;不过原文没有提供工时记录或占比,不能直接推广到所有团队。
监控要能串起任务,还要找出少数失控任务
算清这些账,需要把不同系统的数据关联起来。可观测性(Observability)在这里的作用,是沿着一次任务的执行链,解释钱花在哪里、结果如何。
原文要求记录五类信息:每一步模型调用的输入输出 token;任务完成、失败或转人工的结果标签;带价格的工具和 API 用量;任务类型、Agent、模型、团队等归属维度;评估与监控自身的开销。
其中,追踪链路(trace)负责把多次调用串回同一个任务。否则,重试只是几条分散日志,看不出它们都来自同一次失败尝试。
有了总账,也不能只看平均值。少量循环失控或上下文很长的任务,可能拉高整体支出。作者建议按 Agent 和任务类型拆分,观察中位数与高分位数。
如果中位数稳定,高分位数却持续上涨,应优先排查特定失败模式,例如少数任务反复调用工具。这里提供的是排查方向,并不能仅凭分位数变化就认定原因。
核算结果最终要进入控制流程:设置单任务预算、在成本偏离正常区间时告警,并把成本与完成率、质量放在一起比较。异常检测需要持续计算,预算和模型选择则要在复盘周期重新评估,因为价格、模型和 Agent 行为都会变化。
我的判断
这套框架最有价值的地方,是让失败成本进入成功任务的账单。便宜模型如果更容易失败,省下的调用费可能被重试和人工补救吃掉。「每个已完成任务的成本」比单看 token 报价更接近业务决策。
但它仍有两个使用前提。
一是任务必须具有可比较性。简单查询和复杂分析混在一起,整体指标上升可能只是任务结构变了。因此,按任务类型拆分不是附加功能,而是解释指标的基础。
二是完成条件必须包含质量要求。一个 Agent 更快给出答案,如果答案需要大量返工,就不能仅靠「已返回」标签证明效率提高。原文强调同时看质量,但没有说明质量如何评分、人工时间如何计价,这些都需要团队自行补齐。
还要保留一层判断:作者任职于 Bonree,文中提到其雇主的 Bonree ONE 具备 AI 应用 token 和成本洞察能力。这是存在厂商利益关联的方法介绍,并非产品横评,也没有证明购买平台比自行记录日志更划算。任务量较小时,结构化日志和定期汇总也可以先验证核算口径;系统复杂后,再评估平台能减少多少维护工作。
能拿来做什么
- 给现有 AI 功能定义任务 ID 和业务完成条件。在 Node 服务里关联模型调用、工具调用和最终状态,让一次重试能够追溯到原任务。
- 对会多轮执行的 Agent,先按任务类型汇总费用、完成率和高分位成本,优先检查长上下文、反复重试及未产出结果的循环。
- 更换模型时,用相同任务集合比较费用、完成率、质量和人工补救量,避免仅凭单次调用价格决定选型。
- 给评估、遥测和人工复核单独留出记账项,持续监测异常,并在预算复盘时检查共享资源的分摊规则是否仍然适用。