给线上智能体设定可靠性与质量指标
文章建议对工具调用成功率、轮次 P95 延迟和首词元耗时设定服务等级目标,并配置错误预算与消耗速率告警。任务完成率、转人工率和静默失败率等质量指标按整段会话评估,初始阈值取自两周真实流量。
AI 深度解读
客服 Agent 可以在一秒内回一句「订单已取消」,整条链路也没有报错,可订单还在待发货。只看延迟、异常和 Token,你会把这次失败记成一次正常请求。
作者给出的办法是把生产指标分开管。工具调用和响应速度用 SLO,任务完成和用户受挫用整段会话评估,再按周设质量目标。起点是自己线上流量的两周基线。这套方法最有用的地方,是让团队能分别发现服务故障、执行失败和答错了却没人反馈的问题。
哪些指标适合写进 SLO?
能从每次请求的链路追踪(trace)里及时拿到的指标,适合用服务等级目标(SLO)管理。作者建议先看工具调用成功率、整轮 p95 延迟,以及流式聊天的首 Token 时间。
工具错误率是带 error.type 的 execute_tool span 数除以全部 execute_tool span 数。记得按 gen_ai.tool.name 拆开看。总体错误率只有 1%,可能有一个工具的错误率已经到了 20%。工具正常返回却给出空结果,也值得单独计数,因为 Agent 可能接着生成一段看似合理的答复。
整轮延迟从用户发消息算到助手输出最后一个 Token。一次回复可能调用多次模型和工具,单次模型耗时很难反映用户等了多久。流式页面可以在客户端记录发消息到收到首个流式 Token 的时间,并做成直方图。OpenTelemetry 的 gen_ai.server.time_to_first_token 测的是模型服务端。语音 Agent 要单独测,作者建议从自己的通话录音设更紧的延迟目标。
下面这段埋点给工具调用写入会话和用户标识,也记录异常类型。
from opentelemetry import trace
tracer = trace.get_tracer("support-agent")
def call_tool(conversation_id: str, user_id: str, name: str, args: dict):
with tracer.start_as_current_span(f"execute_tool {name}") as span:
span.set_attribute("gen_ai.operation.name", "execute_tool")
span.set_attribute("gen_ai.tool.name", name)
span.set_attribute("gen_ai.conversation.id", conversation_id)
span.set_attribute("user.id", user_id)
try:
return TOOLS[name](**args)
except Exception as exc:
span.set_attribute("error.type", type(exc).__name__)
span.set_status(trace.StatusCode.ERROR)
raise
这里要看 gen_ai.conversation.id 那一行。后续的转人工、问卷和评估结果要能关联到同一会话。原文把 GenAI 约定标为 Development,属性名仍可能变动,有框架内置埋点时优先复用。
告警看错误预算消耗速度。以 30 天工具成功率 99% 为例,预算是 1%。某一小时错误率达到 14.4%,燃烧率就是 14.4,相当于一小时用掉 30 天预算的 2%。原文引用 Google SRE 工作簿的长短窗口同时超阈值做法,并列了小时级通知值班和三天耗掉 10% 建工单的例子。每天只有几百段会话时,少数失败就能让小时数据大幅波动,作者建议先发工单。
链路全绿,怎么知道用户的问题处理好了?
任务成功率的分母是符合条件且经过判定的会话,分子是判定成功的会话。每类任务先写清完成条件。比如取消订单需要订单确实取消,而且用户收到退款金额。问候和测试不纳入,结局未知单独报。可以由人工或大模型评审(LLM judge)读完整会话,成本允许时覆盖全部对话。
客服还要观察解决率,以及问题由 AI 接住的比例(containment)。原文用同一用户是否在 72 小时内为同一问题再次联系来校验两者。
resolution_rate = resolved conversations with no repeat contact in 72h / conversations with a support request
containment = conversations with no escalation and no repeat contact in 72h / all conversations
第二行只要求没有转人工和重复联系,用户中途放弃也可能被计入。原文提到,Intercom 会把用户退出且未继续求助计作推定解决,Zendesk 则从 2026 年 5 月 18 日起区分 Contained 和由 LLM 确认的 Verified。转人工率也没有统一的好坏方向。真正要查的是转接中有多少太晚、缺上下文,或者原本没必要转。
最值得补的是静默失败率。它用「判定失败且没有错误 span 的会话」除以「没有错误 span 的会话」,能抓到答错还很肯定、声称执行却没执行、漏掉用户要求等情况。工具错误率持平、静默失败率上升时,可以回查近期的提示词、模型和检索改动。受挫率按会话计,反复改写同一请求、要求找人工、全大写、脏话或中途退出都可以作为信号。循环率则关注同一工具和参数调用至少 3 次,或重复回答。前者能查 trace,后者要读文本。gen_ai.invoke_agent.tool_calls 提供每次运行的工具调用次数,可用作早期线索。
质量告警为什么要等,成本又该怎么算?
会话评估要等用户聊完,结果可能晚几分钟到几小时。原文建议质量告警用 6 到 24 小时窗口对比 7 天基线,加上最小样本量,避免 5 段里失败 2 段就叫醒人。涉及钱、安全或法律承诺的规则要写窄,目标接近零。比如退款政策违规可以累计 3 起就通知负责人,并附上待复核的会话。
点踩反馈直接,但量少且容易偏向不满的用户。CSAT 可以用 session ID 关联对话,再按用户意图和失败类型拆分。中途离开可作为放弃信号,72 小时内就同一问题再次联系则能反查解决质量。比较模型成本时,用同一窗口内的模型、工具及 API、基础设施、人工转接总成本除以已解决会话数。一个模型即使单次调用更便宜,只要解决率降得够多,每解决一单的成本还是会上升。
原文工具对比里也有几处会影响数据口径。会话闲置默认等 30 秒还是 10 分钟,会改变一段对话何时进入评估。10 分钟的方案还列出了每个工作区 10 个多轮评估器、单次 500 个线程的限制。Arize 建议高流量应用抽样 10% 到 50%,罕见违规可能漏掉。另一个工具给出的告警例子是过去一小时平均有用性低于 0.7。Datadog Agent Observability 保留 15 个月的 trace 指标,其 Goal Completeness 只评估标记为已完成的会话。
我的判断
作者最有价值的建议,是把「任务完成」写成可核对的条件。拿取消订单来说,人工抽检能发现措辞和策略问题,全量 LLM 评估适合持续筛查,而订单状态能直接验证动作是否发生。评审只看到聊天内容时,仍可能把一句自信的「已取消」判成成功。原文没给出人工和模型评审的一致率,也没给出上线前后的对照数据。两周基线和 72 小时窗口可以作为经验起点,具体还得看业务周期,以及电话、工单和网页聊天能否关联到同一人、同一问题。
作者团队开发了 Agnost AI。按原文描述,它在会话闲置 15 分钟后批量评估,逐条给助手消息判通过或失败,不抽样,可向 Slack 或邮件发告警。Auto Improve 会用历史运行测试修复并开 PR,供人工审查,合并后复查告警。作者也明确说它没有成本追踪。选型时可以先看自己需要哪项能力。已有 trace 和账单时,先把业务结果接上,再用人工抽检校准评审规则,就能验证这套口径是否适合自己的流量。
能拿来做什么
- 用自家线上流量跑两周基线。从原文列举的 13 项里先上五项,包括工具调用成功率、整轮 p95 或流式首 Token 时间、任务成功率、静默失败率和受挫率。每月复查,已连续一个月达标的目标再考虑收紧或替换。
- 在前端记录发送消息、收到首个流式 Token 和收到最后一个 Token 的时间。在 Node 工具执行层写入同一个会话 ID,按工具名统计异常与空结果。
- 选一种高频客服任务写完成条件。取消订单可以把订单状态和退款金额送入评估记录,另外标出未知结果,再抽查评审判对和判错的会话。
- 有跨渠道会话记录时,再把 72 小时重复联系纳入解决率和 containment。报表按已走完观察窗口的会话统计,并按用户意图拆分,密码重置和账单争议分别定目标。