用代表性用例设定 AI 上线门槛
文章从漏做需求、摘要编造细节和漏判关键错误等案例出发,建议由熟悉业务的人员标注代表性用例。评估既核对任务完成度和事实依据,也规定哪些错误必须阻止上线。
AI 深度解读
代码助手跑绿了自动化测试,原始需求却漏做了一部分。文档助手写出了像模像样的摘要,里面却多了一条来源里没有的细节。GeekyAnts 在上线评估中遇到的这两个例子,指向同一个问题:测试通过只说明它检查过的条件得到了满足。
判断 AI 系统能不能上线,要先把任务要求、事实来源和必须拦下的错误写成验收条件,再用复跑结果和人工签核支撑发布决定。原文列了五家公司的做法,前端和全栈团队可以从手头的用例和发布流程入手。
自动化测试都绿了,为什么还会漏需求
GeekyAnts 披露了三类漏检。代码助手通过了自动化测试,却遗漏部分原始需求,验收时得把需求逐条对回实现。文档助手编造了细节,得检查摘要里的事实能否追溯到原材料。临床教育系统漏掉了关键错误,即使总体分数看起来可以,也需要单独标记这类漏判,并根据事先定好的标准阻断发布。
用例集可以从少量代表性场景起步,由熟悉业务的人标注。拿客服助手来说,常规问题、政策例外、表意模糊的请求、必须升级给人工的请求,可以各挑一个。每条用例写清合格回答必须包含什么、哪些错误会卡住发布。
原文把验收拆成五个方面:任务完成度检查所有要求和边界条件;事实溯源检查陈述能否对应原材料或获准访问的记录;隐私与公平检查访问权限及相关用户群体间的质量差异;延迟与成本要把重试和工具调用都算进去;发布审批则把失败、修复、复测和签核串在同一份记录里。GeekyAnts 还提到按任务设验收阈值,跟踪响应时间和单次调用成本。
同一个输入能有几种正确答案,怎么做回归
Thoughtworks 建议按行为验收。客服回答可以有多种措辞,只要引用了正确的政策、保留了例外条款,并在需要时正确升级,就能用同一套条件判断。模型或提示词换了,这些条件仍然能用。
同一个输入也可能这次过、下次漏。假设改提示词修好了漏转人工的问题,复测时可以重复跑原失败用例,再带上一批此前通过的用例,看看改动有没有影响正常回答。复测记录要能对得上原始失败、违反的条件和改动内容,签核人才能看清放行依据。
一旦工作流会读写数据,验收就要跟到执行结果
Accenture 的 Distiller 把多智能体编排、评估和可观测性放在一起。检索智能体可能找到了正确记录,撰写智能体收到的版本却缺了一截。端到端评估可以检查交接时每个环节实际收到了什么,再判断最终答案为什么丢了信息。
Deloitte 关注动作执行前的授权。智能体可以准确概括理赔材料,也可以建议变更状态,但写回原记录可能需要审批。测试缺少授权的用例时,要查它实际有没有发起更新、是否停止或请求审查。只看聊天窗口里的回复,确认不了后台发生了什么。
发布后还有输入变化的问题。IBM 的 watsonx.governance 文档涉及评估指标、模型事实表(model factsheets),以及漂移和延迟监控。团队可以用上线前记录的结果作基线,发布后如果真实输入越来越偏离开发期用例,或质量开始下降,就有参照可查。
我的判断
对日常 AI 编程,最容易落地的是把原始需求带进验收。现有单测仍能检查具体行为,逐条对照需求可以发现测试文件里压根没覆盖的交付项。对于转人工、越权写入这类必须满足的条件,单独判定是否通过,比把它们和措辞、格式一起算平均分更贴合发布决策。
GeekyAnts 给出了三类实际遇到的失败,并描述了任务级评估和人工签核流程。原文没有给出样本规模、修改前后的通过率、重复运行次数,也没有五家公司之间的对照数据。流程的效果仍属经验之谈,无法据此选出更有效的框架或通用阈值。团队能否照搬,还取决于有没有熟悉业务的人标注用例,以及日志能不能查到关键交接与写入动作。
能拿来做什么
- 用 AI 改代码时,从需求单抄出每条验收条件,在 PR 里分别填上对应的实现和验证结果,尤其检查那些没有对应测试的边界要求。
- 给文档助手建一小批回归用例,要求摘要里的关键事实能定位到原文片段。修复一次编造后,重复运行原失败用例,并复跑此前通过的用例。
- 如果 Node 服务允许智能体更新业务状态,补一条缺少授权的端到端用例,检查写入是否被拦截、是否进入审批,并把复测和签核结果记到同一份发布记录里。