AI 总结客户趋势后,先用 Python 验证
文章针对大模型标注客服对话后生成的趋势报告,提出核查样本分母、分析覆盖范围、引用真实性及标签准确性。配套 Python 示例使用虚构数据,强调用人工标注验证模型输出。
AI 深度解读
AI 把客服对话整理成「客户需求趋势」,最危险的一步往往是把排行榜直接搬进汇报:提到的人有多少、引文是否存在、是不是同一个客户反复联系,都被图表藏了起来。
作者给出的办法,是在 AI 打标之后加一道 Python 校验,逐项检查证据、比例、人工审核和客户集中度,再输出 READY、CAVEAT 或 NOT_READY。它值得程序员读几分钟,因为这套设计把「看起来可信」拆成了可以执行、可以阻断发布的规则。
排行榜缺的,是分母和能追溯的原话
这套工具不调用 LLM,只接收已有打标流程的结果。输入是一个 JSON 文件,conversations 中每条记录包含 id、period、customer_id、analysed、transcript 和 themes;每个主题还要附上支持它的 quote。可选的 audit 保存人工核验结果,通过 conversation_id、theme 和 human_agrees 关联标签。
其中,analysed: false 的对话仍计入当期总量,但不进入主题占比的分母。这样既能报告「已分析对话里有多少提到这个问题」,也能显示分析覆盖率,避免漏掉的数据悄悄消失。
引文校验采用一个折中方案:先统一 Unicode、大小写、标点和空白,再做子串匹配。它解决的是格式差异导致的误拒绝,同时避免模糊匹配把改写也当成原话。
_PUNCT = re.compile(r"[^\w\s]", re.UNICODE)
_WS = re.compile(r"\s+")
def normalise(text: str) -> str:
"""NFKC-normalise, casefold, drop punctuation, squash whitespace."""
text = unicodedata.normalize("NFKC", text).casefold()
text = _PUNCT.sub(" ", text)
return _WS.sub(" ", text).strip()
def quote_found(quote: str, transcript: str) -> bool:
q = normalise(quote)
return bool(q) and q in normalise(transcript)
要留意最后一行:规范化后为空的引文不会通过,其余引文必须出现在规范化后的转写文本里。
找不到原话的标签会被剔除并报告;某主题超过 5% 的引文无法核验,整个主题进入 NOT_READY。作者把这视为提示词或处理流程的异常,而不只是几条脏数据。
但文字存在,不代表标签正确,也不代表这句话由客户说出。作者建议,有说话人标记时,只在客户发言中匹配。电话场景核验的也是语音转写文本,无法证明音频识别没有出错。
「占比上涨」和「足以支持决策」是两回事
对「n 条对话里出现 k 次」,作者采用 Wilson score interval(Wilson 得分区间),而不是常见的 p ± z·√(p(1−p)/n)。后者在小样本下表现不佳,甚至可能给出负的比例下限。
同一个 wilson 函数也用于人工审核的精确率:检查 25 个标签,认可 24 个,点估计是 96%,但 95% 区间约为 80% 到 99%。这提醒我们,少量审核中的高命中率仍有明显不确定性。
月度比较使用 newcombe_diff,通过 Newcombe hybrid score method 合并两期 Wilson 区间,直接计算比例差的区间。整个区间高于零才标为 rising,低于零则为 falling,否则是 no clear change。不能仅凭两个月各自的区间是否重叠判断变化。
作者用固定随机种子生成虚构数据:10 月有 104 条对话、分析 100 条,11 月有 120 条、分析 110 条,覆盖四个主题。
invoice confusion在 11 月出现于 26/110 条对话,占 23.6%,95% 区间为 16.7%–32.4%;较 10 月增加 11.6 个百分点,差值区间为 +1.2 到 +21.7 个百分点,判断为上涨。delivery delay出现于 15/110 条,占 13.6%,95% 区间为 8.4%–21.3%;差值为 -0.4 个百分点,区间为 -10.0 到 +9.0 个百分点,没有清晰变化。login failure的 14 条标签中,4 条引文不存在,剔除后剩下 10/110 条,占 9.1%,主题被阻断。wants Spanish menu从零增加到 6/110 条,占 5.5%,差值区间为 +0.7 到 +11.4 个百分点,统计上被标为上涨;但它只涉及 3 位客户,其中一位贡献了 67% 的提及。
统计上检测到上涨,不等于证据已经足够支持产品决策。
为什么审核不足只是提醒,引文失真却要阻断
默认规则要求:至少 10 次有效提及、至少 20 个标签经过人工审核、精确率区间下限不低于 0.70、对话分析覆盖率至少 80%、单一客户贡献不超过 30%,以及无法核验的引文不超过 5%。
这些条件并非同等严重。有效提及不足、引文失真超标,或者人工审核数量达标后精确率下限仍低于 0.70,属于硬失败。审核数量不足、覆盖率偏低、客户过度集中,属于软提醒。
因此,delivery delay 虽然审核只确认了 7/8,精确率约 88%、区间为 53%–98%,仍只是 CAVEAT:8 条审核不足以触发精确率硬判定。相反,login failure 即使有效提及达到 10 次,仍会因为 4/14 的引文失真进入 NOT_READY。
这一区分有实际价值:样本不足表达的是「还不知道」,充分审核后的低可靠性表达的是「已有证据表明不可靠」。
运行时指定当前月份和基线月份,就能得到逐主题报告:
python voc_evidence.py sample/conversations.json --period 2026-11 --baseline 2026-10
要注意 --period 和 --baseline 分别选择哪两期;添加 --json 可以获得机器可读结果。任何主题出现 NOT_READY,退出码就是 1;输入错误返回 2,适合接入 CI 或定时报告任务。
作者称代码在 Python 3.13.5 下运行,只用标准库,test_voc_evidence.py 的 30/30 项 unittest 通过,示例测试耗时 0.007s。区间数值交叉核对了 statsmodels 0.15.0 的 proportion_confint(method="wilson") 和 confint_proportions_2indep(method="newcomb")。测试还覆盖同一对话重复标签只计一次、阈值边界、覆盖率、输入校验和 CLI 退出码。
我的判断
我认可它把证据检查放在报告发布之前。比起再让一个模型评价结果是否合理,这套方案更容易追踪具体失败原因;比起只看主题次数,它也交代了样本范围和不确定性。
不过,作者验证的是代码行为和区间计算,数据全部虚构。原文没有真实业务中的对照实验,无法据此断言这些规则能减少多少错误决策。10 次提及、20 条审核、0.70 等阈值,是可调整的起点,不是行业标准。
它也没有解决全部统计问题。区间计算假设对话相互独立,同一客户反复联系会破坏这个前提;报告客户集中度只能提示问题,并未修正区间。每月同时检查很多主题,也会偶然出现一些「上涨」。
人工审核测量的只是精确率,即打出的标签有多少正确,并不测量召回率,即漏掉了多少。只审核已打标内容,可能得到一个很准却漏报严重的系统。分析结果还只代表被覆盖渠道中的主动联系者,不能直接推广到全部客户。
能拿来做什么
- 如果正在做客服工单、用户反馈或聊天记录的 AI 分类,要求输出附带原文片段、对话 ID 和客户 ID,让后续校验有据可查。
- 给内部前端看板同时展示「有效提及数/已分析对话数」、覆盖率、区间和判定原因,避免把次数排行榜直接命名为客户趋势。
- 在 Node 或 Python 报告流水线中接入退出码检查,用
--json传递结构化结果;出现 NOT_READY 时暂停自动发布,保留具体失败原因供复核。 - 保留人工抽检,并偶尔抽查未打标签的对话以估计漏报。转写文本属于个人信息,应在已有访问控制范围内处理,并核对用途是否符合此前向客户说明的范围。