用真实流量评估 AI 智能体
离线评估用固定用例在发布前检查已知场景是否退化。在线评估持续分析真实对话、执行轨迹和工具调用,用模型裁判、规则或用户反馈发现测试集未覆盖的失败。
AI 深度解读
一个 AI 客服查到退货期限是 14 天,回给用户的却是 30 天。工具调用成功,接口也没报错,这条错误可能就这么过去了。线上评估(online eval)要做的,就是拿真实流量里的对话、调用记录和业务结果,判断 Agent 到底有没有把事办对。
离线评估守住发版前已经知道的行为,线上评估补上真实用户带来的新问题。对开发者最有用的是把两者接起来:线上发现漏网案例,离线把它变成回归测试,修复上线后再用同一条规则验证。
评估看哪一层,决定你能抓到哪种错
离线评估通常会让 Agent 跑一组预先准备好的用例,再按预期答案或评分规则检查结果。它适合守住已知约定,比如退款请求该调用哪个工具、返回值该符合什么格式。生产环境的输入开放得多:用户可能问入职助手账单怎么处理,也可能把一段测试集从没收录过的堆栈交给编程助手。模型更新、提示词修改、上游 API 变化,也可能让真实流量上的行为慢慢偏移,即使固定测试集依然全绿。
作者把一项线上评估拆成五个部分。先选评估单元,也就是一次模型调用(span)、一次完整请求链路(trace),或一整段多轮对话(session 或 thread)。想检查一次工具调用的结果,看 trace 就有机会判定。想知道用户是不是把同一个问题换了 4 种问法后离开,就得看整段对话。单条回复拿出来可能句句合理,问题出在前后几轮都没解决用户的需求。
接着选触发时机和判定方式。span 和 trace 可以在数据到达后评估,多轮对话通常等一段时间没新消息再判,否则用户还在补信息,评估已经把任务算作失败。有明确契约时,可以用代码检查 schema、跑正则或对照工具结果。需要理解语义时,可以让 LLM judge 按规则判定。点踩、退款申请和工单也可以作为信号。
最后两部分是评估哪些流量,以及谁拿结果做什么。可以全量评估,也可以抽样,或只看某个 Agent、某类客户、用过退款工具的请求。报违规率时要记下实际评估了多少条。结果可以进入人工复核队列、触发告警,或变成回归用例。五个部分里,第五个最容易在搭仪表盘时被忘掉:一个分数出来以后,得有人知道怎么处理它。
先查业务结果,再把失败写进回归测试
「退款已经完成」这句话到底对不对,要看退款工具是否成功,或者业务系统里有没有相应结果。如果这些证据没被采集,裁判只能读到 Agent 自己的说法。退货期限的例子也一样,得把检索到的 14 天政策和回复里的 30 天放在一起,才有依据判错。
线上评估发生在交互之后。漏验身份就返回账户资料这类问题,需要在请求链路里做校验,让请求在违规结果送达用户前停下来。线上评估仍可以帮助团队检查已发生的交互,了解规则有没有被遵守。用 LLM judge 时,作者建议先拿人工标注的样本校准。调用量大时还要算评估成本,常见问题可以抽样,罕见且严重的问题应优先考虑全量检查。
发现错误后的流程也有五步。先由线上规则标记疑似案例,再由人复核。确认后,评审要改的是提示词、工具契约,还是程序校验。随后把有代表性的失败和正常样本一起变成离线回归用例,测试时用记录下来的工具结果,避免真的再退一笔钱。第五步发生在发版之后,用原来的线上规则重新算失败率。只看到新用例跑绿,团队能确认的还只是那批用例过了。
Agnost AI 怎样评估一整段对话
按原文描述,Agnost AI 让团队用英文写行为规则,比如「完成取消操作前先说明取消政策」。对话空闲 15 分钟后,LLM judge 批量读完整段对话,给出通过或失败的判定,并指出违反规则的具体助手消息。裁判同时给用户意图打标签,团队可以按用户目标查看违规率。
Agnost AI 没有采样开关,会评估纳入分析的每段对话,受套餐每月事件配额限制。新增或编辑规则时,还会给最近 1,000 段对话跑一遍,作为该规则的初始基线。违规次数达到阈值可以发 Slack 或邮件告警,也可以启动 Auto Improve,由它开一个 pull request 交给团队评审,合并约 1 小时后再检查告警。原文描述的是一套事后审查流程,输出是通过或失败及对应证据,产品未提供 CI 门禁。需要在发版前跑固定数据集的团队,仍要配合离线评估工具。
我的判断
最该保留的是「先给裁判看证据」。如果 Node 服务已经记录退款工具的返回状态,用代码核对「宣称完成时是否确有成功结果」,通常比每次都让模型通读对话更直接。碰到「用户反复解释,助手仍然理解错了」的问题,整段对话才提供足够的上下文,这时用模型判定更合适。工具结果要是压根没记下来,先补记录。
原文给了流程、例子和产品能力说明,没有给出评估准确率、误报率、成本或修复前后的对照数据。关于团队容易跳过哪些步骤,以及一周样本够不够用,都只能当作经验之谈。比如对话空闲 15 分钟就开始判断,对咨询场景也许够用,涉及异步审批或用户隔天补材料的流程,就得先想清楚什么状态才算结束。合并约 1 小时后的复查也有类似前提,那段时间里得有足够多的相关请求,违规率才有比较价值。
能拿来做什么
- 给会执行取消、退款等操作的 Agent 加一条窄规则。把同一条 trace 里的助手回复和工具结果关联起来,先查「回复说已完成,但没有成功结果」这一种错误。
- 需要评估多轮体验时,从一周生产对话里复核 20 条被标记和 20 条未被标记的样本。前一组看误报,后一组找漏判。根据分歧改规则措辞,确认判定口径后再设告警阈值。
- 用失败对话和正常对照各补一组离线回归用例,在 Node 测试里模拟工具返回。发版后继续用同一条线上规则观察,比较同类请求的违规数和评估总数。