接口成功后,智能体仍可能做错业务
文章指出,API 返回 200 并不代表智能体正确理解数据或完成业务动作。它以退款流程说明常规接口监控的盲区,并围绕五类失败讨论防范方法。
AI 深度解读
AI Agent 调用接口拿到 200 OK,随后告诉客户「退款已批准」,但实际并没有获得批准。问题不在网络请求,而在模型把有效数据理解错了,应用又没有拦住这个错误。
作者围绕退款客服拆出了五类普通 API 监控容易漏掉的失败:决策错误、知识过期、交易未完成、该转人工却继续处理,以及工单关闭但问题没解决。核心结论很明确:Agent 的可靠性,需要从「工具有没有执行」一直检查到「用户的事有没有办成」。对正在给应用接入工具调用的开发者,这比再加几次重试更值得先想清楚。
模型能理解请求,不代表它能决定退款
第一类失败发生在业务决策层。获取订单、查询政策、判断资格,每一步都可能正常返回,最后的退款决定却仍然错误。客户可能享有特殊政策,规则可能刚更新,模型也可能误解某个条件。
作者建议把理解请求和批准操作分开。模型负责识别客户要什么、收集相关信息,应用代码负责检查业务规则与授权。
原文用 TypeScript 举了一个简化的资格检查:checkRefundEligibility 接收 Order 和 RefundPolicy,返回包含 approved、requiresReview、reason 的 RefundDecision。存在 hasPolicyException、收货天数小于 0 或超过 returnWindowDays、金额超过 autoRefundLimit,都进入审核;只有满足标准条件才批准。
这里有个细节:approved: false 配合 requiresReview: true 表示需要审核,不能直接翻译成「拒绝退款」。模型生成回复时,同样需要尊重业务状态。
这段规则也不是完整退款系统。作者明确指出,真实应用还需要身份认证、订单归属检查、反欺诈和交易授权。将判断写成函数,只是建立了一道可以独立检查的边界。
第二类失败藏在数据来源里。检索增强生成(RAG)让回答有据可查,却不保证依据仍然有效。原文假设知识库同时保留了两份文件:refund-policy-2025.pdf 允许 30 天内退款,refund-policy-2026.pdf 改成 14 天。客户收货 25 天后申请退款,检索到旧文件就可能得到错误结论。
下面这份元数据示例,用于让应用在生成回答之前检查政策版本、状态和生效时间:
{
"document": "refund-policy",
"version": "2026-04",
"status": "active",
"effectiveDate": "2026-04-01",
"source": "approved-policy-database"
}
要关注 status 和 effectiveDate,不能只看文本相似度。来源还必须适用于当前请求;发生政策冲突或找不到可靠来源时,应转交审核。
当然,标签也可能标错。元数据的可靠性,取决于团队是否持续维护权威来源、版本和生效日期。
接口接受了请求,什么时候才能告诉用户成功
第三类失败是把请求受理当成交易完成。
原文中,Agent 调用 POST /refunds,得到 refundId: "rf_1024" 和 status: "pending"。服务已经接受请求,但退款仍在处理中。此时告诉客户「退款已完成」,就是错误承诺。
作者用下面这段代码说明如何让回复对应明确的交易状态:
type RefundStatus =
| "pending"
| "completed"
| "failed";
function getRefundMessage(
status: RefundStatus
): string {
switch (status) {
case "completed":
return "Your refund has been completed.";
case "pending":
return "Your refund is being processed.";
case "failed":
return "We couldn't complete the refund. Your request needs review.";
}
}
最关键的是 case "pending":它只能返回处理中。代码里的三个状态只是示意,接入真实支付服务时,要按提供方实际定义的状态及失败信息进行映射。
对外承诺必须来自已核实的业务状态。
超时则带来另一种不确定性:客户端没收到结果,不代表服务端没有执行。直接重试,可能重复发起退款。作者建议,在服务支持的情况下使用幂等键,并在重试前核对已有交易。幂等键用来让服务识别同一笔操作的重复请求,但应用仍要查明当前结果。
因此,工作流需要分别处理完成、等待、失败和未知:完成后确认结果,等待时如实告知,失败时调查或升级,未知时先核对再决定是否重试。原文提到 Stripe 的退款状态和幂等请求文档作为实现参考,但没有给出完整集成代码。
什么时候必须停下来,怎样才算真的解决
第四类失败,是 Agent 能继续回答,却已经不适合继续处理。
客户说「我已经联系过客服三次,补发商品还没到」,再查一次物流,可能句句准确,却没有推动问题解决。作者主张把转人工条件写进流程,包括重复处理无果、退款或补偿例外、客户主动要求人工、账户或交易信息冲突,以及操作超过授权额度。
这些条件不能完全依赖模型判断客户是否生气。原文提到 OpenAI Agents SDK 的 guardrails 和 human review,作为检查与暂停流程的实现参考;具体哪些操作必须审核,仍需要应用自己定义。
交接也不只是生成工单号。原文示例把 case_1024、order_456、原因 repeated_unresolved_issue、已尝试的动作,以及 requires_human_review 状态一起传递。人工还应能通过授权系统查看会话和相关记录,避免客户从头复述,也避免在日志里重复复制敏感数据。
第五类失败发生在统计报表上。原文假设 Agent 处理了 1,000 次对话,其中 850 次没有人工参与就关闭,自动关闭率达到 85%。但如果客户随后重新打开工单,这个数字就无法证明问题解决了。
作者明确说,这是假设案例,不是实测成绩。
原文还存在两处内容缺口:「Useful metrics include」后没有列出指标,「Seven Failure Scenarios Worth Testing」后也没有列出七种测试场景。不能替作者补成一套已经交付的指标和测试方案。
它给出的验证原则仍然有用:修改 prompt、模型、集成或业务规则后,应检查最终回复和中间动作。即使最后回复「需要审核」,只要 Agent 曾尝试执行未授权退款,测试也应该失败。
日志则需要记录 Workflow ID、工具调用、知识来源及政策版本、授权结果、交易状态、升级原因和最终结果。Tracing 能还原执行过程,却不会自动判断业务结果是否正确,还需要自定义事件和评估检查,并配合脱敏、访问权限与保留期限。
我的判断
我认同作者把业务授权放到模型之外。对于退款这类规则明确、执行后有实际后果的操作,服务端规则和授权检查比单靠 prompt 约束更容易审查,也更容易做回归验证。
但代码里的确定性,不等于业务上的正确性。政策例外怎么识别、版本由谁维护、什么情况算解决、转人工后如何接手,都需要团队补齐。原文提供的是设计原则和示意代码,没有给出生产运行数据、错误率变化或不同方案的对照,因此不能据此判断收益大小。
相比只监控 HTTP 错误,这套做法扩大了检查范围;相比已有的交易状态机、权限系统和人工审批,它更多是在提醒开发者:接入模型之后,这些工程控制仍然要保留,并且要约束模型尝试发出的动作。
对 AI 编程 Agent,原文最后的类比也成立:命令退出没有报错,不能证明任务完成。不过,代码任务的验收标准需要另行定义,原文并未提供具体方案。
能拿来做什么
- 给 Node 工具调用建立服务端检查入口,在执行退款等操作前完成身份、归属、业务规则和授权校验,并把「需要审核」作为明确结果返回。
- 前端根据后端核实的业务状态展示处理中、已完成或失败,避免拿 HTTP 200 直接触发「操作成功」提示,也避免让模型自行把等待状态描述成完成。
- 为 RAG 返回结果保留来源、版本和生效日期,在应用层检查政策是否有效、是否适用;存在冲突时进入审核流程。
- 给 Agent 回归检查同时保留最终回复和动作记录。日常使用 AI 编程工具时,也应按任务验收代码与行为,不能仅凭命令正常退出就接受「已完成」。