基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 20:12

给线上智能体设定可靠性与质量指标

dev.to · AI#服务等级目标#智能体评估#生产监控
Editor brief · 编辑速览

文章建议对工具调用成功率、轮次 P95 延迟和首词元耗时设定服务等级目标,并配置错误预算与消耗速率告警。任务完成率、转人工率和静默失败率等质量指标按整段会话评估,初始阈值取自两周真实流量。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

客服 Agent 可以在一秒内回一句「订单已取消」,整条链路也没有报错,可订单还在待发货。只看延迟、异常和 Token,你会把这次失败记成一次正常请求。

作者给出的办法是把生产指标分开管。工具调用和响应速度用 SLO,任务完成和用户受挫用整段会话评估,再按周设质量目标。起点是自己线上流量的两周基线。这套方法最有用的地方,是让团队能分别发现服务故障、执行失败和答错了却没人反馈的问题。

哪些指标适合写进 SLO?

能从每次请求的链路追踪(trace)里及时拿到的指标,适合用服务等级目标(SLO)管理。作者建议先看工具调用成功率、整轮 p95 延迟,以及流式聊天的首 Token 时间。

工具错误率是带 error.type 的 execute_tool span 数除以全部 execute_tool span 数。记得按 gen_ai.tool.name 拆开看。总体错误率只有 1%,可能有一个工具的错误率已经到了 20%。工具正常返回却给出空结果,也值得单独计数,因为 Agent 可能接着生成一段看似合理的答复。

整轮延迟从用户发消息算到助手输出最后一个 Token。一次回复可能调用多次模型和工具,单次模型耗时很难反映用户等了多久。流式页面可以在客户端记录发消息到收到首个流式 Token 的时间,并做成直方图。OpenTelemetry 的 gen_ai.server.time_to_first_token 测的是模型服务端。语音 Agent 要单独测,作者建议从自己的通话录音设更紧的延迟目标。

下面这段埋点给工具调用写入会话和用户标识,也记录异常类型。

from opentelemetry import trace

tracer = trace.get_tracer("support-agent")

def call_tool(conversation_id: str, user_id: str, name: str, args: dict):
    with tracer.start_as_current_span(f"execute_tool {name}") as span:
        span.set_attribute("gen_ai.operation.name", "execute_tool")
        span.set_attribute("gen_ai.tool.name", name)
        span.set_attribute("gen_ai.conversation.id", conversation_id)
        span.set_attribute("user.id", user_id)
        try:
            return TOOLS[name](**args)
        except Exception as exc:
            span.set_attribute("error.type", type(exc).__name__)
            span.set_status(trace.StatusCode.ERROR)
            raise

这里要看 gen_ai.conversation.id 那一行。后续的转人工、问卷和评估结果要能关联到同一会话。原文把 GenAI 约定标为 Development,属性名仍可能变动,有框架内置埋点时优先复用。

告警看错误预算消耗速度。以 30 天工具成功率 99% 为例,预算是 1%。某一小时错误率达到 14.4%,燃烧率就是 14.4,相当于一小时用掉 30 天预算的 2%。原文引用 Google SRE 工作簿的长短窗口同时超阈值做法,并列了小时级通知值班和三天耗掉 10% 建工单的例子。每天只有几百段会话时,少数失败就能让小时数据大幅波动,作者建议先发工单。

链路全绿,怎么知道用户的问题处理好了?

任务成功率的分母是符合条件且经过判定的会话,分子是判定成功的会话。每类任务先写清完成条件。比如取消订单需要订单确实取消,而且用户收到退款金额。问候和测试不纳入,结局未知单独报。可以由人工或大模型评审(LLM judge)读完整会话,成本允许时覆盖全部对话。

客服还要观察解决率,以及问题由 AI 接住的比例(containment)。原文用同一用户是否在 72 小时内为同一问题再次联系来校验两者。

resolution_rate = resolved conversations with no repeat contact in 72h / conversations with a support request
containment     = conversations with no escalation and no repeat contact in 72h / all conversations

第二行只要求没有转人工和重复联系,用户中途放弃也可能被计入。原文提到,Intercom 会把用户退出且未继续求助计作推定解决,Zendesk 则从 2026 年 5 月 18 日起区分 Contained 和由 LLM 确认的 Verified。转人工率也没有统一的好坏方向。真正要查的是转接中有多少太晚、缺上下文,或者原本没必要转。

最值得补的是静默失败率。它用「判定失败且没有错误 span 的会话」除以「没有错误 span 的会话」,能抓到答错还很肯定、声称执行却没执行、漏掉用户要求等情况。工具错误率持平、静默失败率上升时,可以回查近期的提示词、模型和检索改动。受挫率按会话计,反复改写同一请求、要求找人工、全大写、脏话或中途退出都可以作为信号。循环率则关注同一工具和参数调用至少 3 次,或重复回答。前者能查 trace,后者要读文本。gen_ai.invoke_agent.tool_calls 提供每次运行的工具调用次数,可用作早期线索。

质量告警为什么要等,成本又该怎么算?

会话评估要等用户聊完,结果可能晚几分钟到几小时。原文建议质量告警用 6 到 24 小时窗口对比 7 天基线,加上最小样本量,避免 5 段里失败 2 段就叫醒人。涉及钱、安全或法律承诺的规则要写窄,目标接近零。比如退款政策违规可以累计 3 起就通知负责人,并附上待复核的会话。

点踩反馈直接,但量少且容易偏向不满的用户。CSAT 可以用 session ID 关联对话,再按用户意图和失败类型拆分。中途离开可作为放弃信号,72 小时内就同一问题再次联系则能反查解决质量。比较模型成本时,用同一窗口内的模型、工具及 API、基础设施、人工转接总成本除以已解决会话数。一个模型即使单次调用更便宜,只要解决率降得够多,每解决一单的成本还是会上升。

原文工具对比里也有几处会影响数据口径。会话闲置默认等 30 秒还是 10 分钟,会改变一段对话何时进入评估。10 分钟的方案还列出了每个工作区 10 个多轮评估器、单次 500 个线程的限制。Arize 建议高流量应用抽样 10% 到 50%,罕见违规可能漏掉。另一个工具给出的告警例子是过去一小时平均有用性低于 0.7。Datadog Agent Observability 保留 15 个月的 trace 指标,其 Goal Completeness 只评估标记为已完成的会话。

我的判断

作者最有价值的建议,是把「任务完成」写成可核对的条件。拿取消订单来说,人工抽检能发现措辞和策略问题,全量 LLM 评估适合持续筛查,而订单状态能直接验证动作是否发生。评审只看到聊天内容时,仍可能把一句自信的「已取消」判成成功。原文没给出人工和模型评审的一致率,也没给出上线前后的对照数据。两周基线和 72 小时窗口可以作为经验起点,具体还得看业务周期,以及电话、工单和网页聊天能否关联到同一人、同一问题。

作者团队开发了 Agnost AI。按原文描述,它在会话闲置 15 分钟后批量评估,逐条给助手消息判通过或失败,不抽样,可向 Slack 或邮件发告警。Auto Improve 会用历史运行测试修复并开 PR,供人工审查,合并后复查告警。作者也明确说它没有成本追踪。选型时可以先看自己需要哪项能力。已有 trace 和账单时,先把业务结果接上,再用人工抽检校准评审规则,就能验证这套口径是否适合自己的流量。

能拿来做什么

  • 用自家线上流量跑两周基线。从原文列举的 13 项里先上五项,包括工具调用成功率、整轮 p95 或流式首 Token 时间、任务成功率、静默失败率和受挫率。每月复查,已连续一个月达标的目标再考虑收紧或替换。
  • 在前端记录发送消息、收到首个流式 Token 和收到最后一个 Token 的时间。在 Node 工具执行层写入同一个会话 ID,按工具名统计异常与空结果。
  • 选一种高频客服任务写完成条件。取消订单可以把订单状态和退款金额送入评估记录,另外标出未知结果,再抽查评审判对和判错的会话。
  • 有跨渠道会话记录时,再把 72 小时重复联系纳入解决率和 containment。报表按已走完观察窗口的会话统计,并按用户意图拆分,密码重置和账单争议分别定目标。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
预载 AST 依赖图加快编程智能体定位
下一篇
AI 代理监控接入与三档用量成本实算

资讯速览

dev.to · AI · 2026-11-18 20:12

AI 评分 8.0 / 10

相关标签

#服务等级目标#智能体评估#生产监控

继续阅读

  • 蜜罐发现智能体用盗取的密钥支付推理费用
  • 预载 AST 依赖图加快编程智能体定位
  • AI 代理监控接入与三档用量成本实算
  • Vercel 开源跨框架界面交互库
  • 大模型推理周报聚焦编译、缓存与抢占