9.0
重磅
AI SCORE
技术实践2026-11-18 16:05
智能体返回200,任务未必成功
dev.to · AI#智能体#可观测性#回归验证
Editor brief · 编辑速览
生产监控应关联用户目标、模型回答、工具与检索证据,以及实际业务结果,分别识别执行失败、证据失效、结果偏差和体验问题。验证修复时,需同时检查历史失败案例是否改善、原本正常的流程是否退化。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
智能体接口返回 HTTP 200,工具调用也顺利结束,但用户要求的退款可能还在处理中。dev.to 上一篇文章讨论了这类线上故障。作者提出,把用户目标、智能体回答、工具和检索证据、最终业务状态关联起来,才能判断任务到底有没有完成。
目前能确认什么
调用链(trace)能告诉你模型调用了什么工具、检索到了什么资料。作者把故障分成四类:执行失败、证据失效、结果偏差和体验问题。比如,回答与检索到的政策版本冲突、声称退款已完成但业务系统仍显示待处理、用户不得不重复同一个未解决的问题,都可能出现在一条没有异常的调用链里。
作者用 17 个合成案例比较了异常检查、基于工具调用的启发式判断和显式的结果验收规则。这组案例用来说明为什么调用成功和任务成功需要分别验证,实际线上各类故障有多常见,节选没有给出数据。
我的判断
对接退款这类异步操作时,可以把「已提交」和「已完成」写成两条独立的验收规则,让智能体的回答对应业务系统当时能确认的状态。节选没说清的是,状态晚到时等多久再判断,以及查不到回执时怎样区分证据缺失和业务失败。这两个边界会直接影响告警的误报率。
修复后,可以保留当时的输入和证据,用测试桩替代真实退款。回归时既要验证待处理的退款不会再被报成已完成,也要验证确实已完成的退款仍能得到正确确认。