按用户意图排查 AI 对话流失
文章建议先定义流失标准、记录会话结束方式,再按用户意图统计错答、循环、工具调用失败等原因,修复后复测同一指标。文中七款工具的比较依据是厂商文档。
AI 深度解读
AI Agent 没报错,最后一句也很礼貌,用户却再也没回。这样的对话,监控面板可能显示正常,产品却已经丢了一次解决问题的机会。原文给出的方法是:先定义什么叫放弃,再记录会话结局、归类原因,最后按用户意图找出损失最多的流程。
这套方法值得看,重点在于把「用户走了」变成可以排查、修复和复测的问题。不过,作者来自 Agnost AI,工具对比依据厂商文档,并非实测榜单,阅读时要把方法和产品宣传分开。
用户没再回复,就算放弃了吗
作者把放弃定义为:用户的目标尚未完成,对话就结束了。常见信号有三种:任务仍未结束,用户停止回复;用户用不耐烦或否定的话退出;用户要求转人工。
先写清定义,再做埋点。聊天场景通常选择 15 到 30 分钟的空闲窗口,但用户可能只是暂时离开;语音场景则应在挂断时判断原因,不必套用聊天超时。
短对话不一定失败。一轮就回答清楚、用户明确表示问题解决,或者系统已经记录退款完成、工单关闭,都应排除。反过来,一句「谢谢」也不能单独证明成功,要看此前回答是否解决了问题。
没有转人工,只能证明没有发生转接,不能证明用户的问题解决了。
原文借 Dimension Labs 区分了两个指标:containment 统计未转人工的对话,self-service resolution 还要求客户需求得到满足。用户失望离开,也可能被算进前者。
这里有个口径需要团队自己补齐:用户提出转人工,可能是 Agent 处理失败,也可能是产品设计中的正常出口。原文没有完整说明如何区分,因此应把「提出转接」「转接被接受」「最终任务完成」分别记录。
为什么必须把整段会话和业务结果连起来
单次 LLM 调用只能告诉你某次生成发生了什么。用户可能因为两轮之前的查询失败而退出,只看最后一句,容易把礼貌收尾误判为正常结束。
作者要求每段对话使用稳定的 session ID,并放到每个 span 上。OpenTelemetry 可以使用 session.id,Agnost AI 使用 agnost.session_id。如果每轮重新生成 ID,系统看到的就会是一堆单轮退出。
还要关联 user ID,识别同一个用户是否反复尝试后离开。工具调用则保留为子 span,让查询失败、等待时间和退出落在同一条时间线上。
会话结束时,记录 user_closed、idle_timeout、handoff、task_completed 或 call_hung_up。业务结果另发事件,例如预约创建、退款发放、人工接手。结束原因描述对话怎么结束,结果事件证明事情有没有办成。
原文用这段 Python 记录最小的会话结束 span:
from opentelemetry import trace
tracer = trace.get_tracer("support-agent")
with tracer.start_as_current_span("conversation.end") as span:
span.set_attribute("agnost.session_id", session_id)
span.set_attribute("agnost.user_id", user_id)
span.set_attribute("conversation.end_reason", "idle_timeout")
span.set_attribute("conversation.goal_met", False)
要注意 conversation.goal_met 这一行:代码写了 False,不代表业务系统已经完成判断,仍需用结果事件支撑。作者还说明,Agnost AI 会把非保留自定义属性存为事件元数据;其他后端怎么处理,需要自行确认。
归因时,每段被放弃的对话只选一个主要原因:回答错误、反复循环、工具失败、回复太慢、无法转人工、请求超出能力范围。作者建议先人工标注 50 段,再写规则交给 LLM-as-a-judge,也就是让另一个模型按规则评判。
判断退出原因,重点看最后几轮;采集上下文,仍要保留整段会话。这两个要求并不冲突。
循环不能把正常澄清也算进去。慢回复应从 span 测延迟,工具失败应看调用错误,不能全靠模型猜。工具等待 20 秒后超时可能同时命中两类,作者建议按用户首先经历的问题归类,但实际执行仍需要一致的标注口径。
先修哪条流程,工具又该怎么选
全站放弃率容易掩盖局部故障。作者建议按用户意图计算:
- 放弃率=该意图下放弃的对话数 ÷ 该意图下全部对话数。
- 原因构成=每种原因占该意图放弃对话的比例。
- 流失对话数=对话量 × 放弃率,优先按这个数排序。
一个低频意图即使失败率很高,也未必比高频流程造成更多损失。排序后,再按 Agent 版本、模型、渠道和套餐切分,检查发布前后的变化。
动手前,先读排名第一的意图下的 10 段对话。循环和错答可能需要改 prompt 或检索,工具失败需要修代码,无法转人工则要补升级规则和可用的转接工具。上线后用匹配窗口复测,例如前后各两周,同时观察原因构成,避免只是把用户推向另一种失败。告警也应针对放弃率异常,而非每段失败对话。
工具对比的核查日期是 2026 年 11 月 18 日。作者认为,相比 2025 年,多款工具已经支持整段会话评估,但能力边界仍有差别。
Agnost AI 按用户和会话聚合,空闲 15 分钟后批量评判,每条 assistant 消息对每条规则给出 pass/fail,不抽样。它支持 OpenAI Agents SDK、Vercel AI SDK、LangChain、LangGraph、Mastra、Pydantic AI、Google ADK 和 Agno,提供 Python、TypeScript SDK。告警可发 Slack 或 email;连接 Auto Improve 后,可生成经过历史对话回放的修复 PR,供人审核。限制是非实时,没有离线数据集、实验、CI 门禁或成本跟踪,也不开源,SOC 2 状态未公开。
其免费档每月 1,000 events、保留 7 天;Starter 每月 $49、10,000 events;Pro 每月 $499、1,000,000 events;Enterprise 定制,包含自托管 VPC 部署。events 不能直接当成会话数。
其余工具可以按现有体系选:
- Dimension Labs 偏客服分析,区分放弃与真实解决,提供影响量和置信区间,月付 $299 起。
- Amplitude Agent Analytics 评估关闭的 Agent 会话,默认无事件 30 分钟关闭,可调整。免费档每月 5,000 会话,聊天保留 14 天;Agent 会话与普通 Amplitude 会话分开。
- Raindrop 提供 User Frustration、Task Failure、Forgetting、Refusals 信号,放弃需自定义;Hobby 有 1 个自定义信号槽,Pro 有 10 个。
- PostHog 用
$ai_session_id关联会话,支持 generation、trace、session 评估,结果可为布尔、数值或类别;采样范围 0.1% 到 100%,模型评判需自带 provider API key。 - Nebuly 通过 Interaction API 接入,映射任务与摩擦信号,可托管、部署到自有 AWS、Azure、GCP 或本地,但公开文档未详细说明放弃判定,价格未公布。
- Langfuse 以 MIT 开源,
ee目录除外。它用sessionId聚合,可通过 UI、SDK、API 添加会话评分,但不能直接对 session 运行 evaluator;替代做法是给最后的 trace 标记conversation_end,再对完整历史运行 observation-level judge。原文提到 Langfuse v4 的 trace-level evaluator 弃用变化,未展开迁移细节。
我的判断
最有用的是把监控终点从「模型是否返回」推进到「用户目标是否完成」。尤其是执行查询、预约、退款的 Agent,业务结果事件比礼貌回复更有说服力。
但这套方法依赖稳定的会话边界、可靠的结果记录,以及足够清晰的意图分类。用户换个入口继续操作,或在线下完成任务,都可能让系统误判。原文没有交代这些情况怎么处理。
每段只选一个主要原因,便于统计,却会压缩多重故障。我倾向于保留主要原因用于排序,同时保留工具错误和延迟等原始证据,方便复查。
分类结果是排查线索,不能直接当成因果结论。
作者没有给出分类准确率、修复后的提升数据,也没有可靠的行业放弃率基准。六类原因和流程优先级应视为经验方法。相比直接采购新平台,已有 OpenTelemetry 和业务埋点的团队,可以先完成一次人工分析,验证口径是否有用。
能拿来做什么
- 给现有聊天产品补齐稳定的 session ID、结束原因和业务结果事件,前端关闭窗口与 Node 服务完成任务分别记录,避免混成一个「结束」。
- 先人工检查 50 段候选放弃对话,明确正常澄清、暂时离开和真实失败的区别,再把规则交给模型评判。
- 按意图整理对话量、放弃率和原因构成,先阅读流失最多流程的 10 段记录,再决定改 prompt、检索还是工具代码。
- 选工具时实际验证会话结束识别、完整上下文读取和意图拆分,并在修复前后各取两周可比数据复测。