基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 14:29

用代表性用例设定 AI 上线门槛

dev.to · AI#AI评估#上线门槛#用例设计
Editor brief · 编辑速览

文章从漏做需求、摘要编造细节和漏判关键错误等案例出发,建议由熟悉业务的人员标注代表性用例。评估既核对任务完成度和事实依据,也规定哪些错误必须阻止上线。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

代码助手跑绿了自动化测试,原始需求却漏做了一部分。文档助手写出了像模像样的摘要,里面却多了一条来源里没有的细节。GeekyAnts 在上线评估中遇到的这两个例子,指向同一个问题:测试通过只说明它检查过的条件得到了满足。

判断 AI 系统能不能上线,要先把任务要求、事实来源和必须拦下的错误写成验收条件,再用复跑结果和人工签核支撑发布决定。原文列了五家公司的做法,前端和全栈团队可以从手头的用例和发布流程入手。

自动化测试都绿了,为什么还会漏需求

GeekyAnts 披露了三类漏检。代码助手通过了自动化测试,却遗漏部分原始需求,验收时得把需求逐条对回实现。文档助手编造了细节,得检查摘要里的事实能否追溯到原材料。临床教育系统漏掉了关键错误,即使总体分数看起来可以,也需要单独标记这类漏判,并根据事先定好的标准阻断发布。

用例集可以从少量代表性场景起步,由熟悉业务的人标注。拿客服助手来说,常规问题、政策例外、表意模糊的请求、必须升级给人工的请求,可以各挑一个。每条用例写清合格回答必须包含什么、哪些错误会卡住发布。

原文把验收拆成五个方面:任务完成度检查所有要求和边界条件;事实溯源检查陈述能否对应原材料或获准访问的记录;隐私与公平检查访问权限及相关用户群体间的质量差异;延迟与成本要把重试和工具调用都算进去;发布审批则把失败、修复、复测和签核串在同一份记录里。GeekyAnts 还提到按任务设验收阈值,跟踪响应时间和单次调用成本。

同一个输入能有几种正确答案,怎么做回归

Thoughtworks 建议按行为验收。客服回答可以有多种措辞,只要引用了正确的政策、保留了例外条款,并在需要时正确升级,就能用同一套条件判断。模型或提示词换了,这些条件仍然能用。

同一个输入也可能这次过、下次漏。假设改提示词修好了漏转人工的问题,复测时可以重复跑原失败用例,再带上一批此前通过的用例,看看改动有没有影响正常回答。复测记录要能对得上原始失败、违反的条件和改动内容,签核人才能看清放行依据。

一旦工作流会读写数据,验收就要跟到执行结果

Accenture 的 Distiller 把多智能体编排、评估和可观测性放在一起。检索智能体可能找到了正确记录,撰写智能体收到的版本却缺了一截。端到端评估可以检查交接时每个环节实际收到了什么,再判断最终答案为什么丢了信息。

Deloitte 关注动作执行前的授权。智能体可以准确概括理赔材料,也可以建议变更状态,但写回原记录可能需要审批。测试缺少授权的用例时,要查它实际有没有发起更新、是否停止或请求审查。只看聊天窗口里的回复,确认不了后台发生了什么。

发布后还有输入变化的问题。IBM 的 watsonx.governance 文档涉及评估指标、模型事实表(model factsheets),以及漂移和延迟监控。团队可以用上线前记录的结果作基线,发布后如果真实输入越来越偏离开发期用例,或质量开始下降,就有参照可查。

我的判断

对日常 AI 编程,最容易落地的是把原始需求带进验收。现有单测仍能检查具体行为,逐条对照需求可以发现测试文件里压根没覆盖的交付项。对于转人工、越权写入这类必须满足的条件,单独判定是否通过,比把它们和措辞、格式一起算平均分更贴合发布决策。

GeekyAnts 给出了三类实际遇到的失败,并描述了任务级评估和人工签核流程。原文没有给出样本规模、修改前后的通过率、重复运行次数,也没有五家公司之间的对照数据。流程的效果仍属经验之谈,无法据此选出更有效的框架或通用阈值。团队能否照搬,还取决于有没有熟悉业务的人标注用例,以及日志能不能查到关键交接与写入动作。

能拿来做什么

  • 用 AI 改代码时,从需求单抄出每条验收条件,在 PR 里分别填上对应的实现和验证结果,尤其检查那些没有对应测试的边界要求。
  • 给文档助手建一小批回归用例,要求摘要里的关键事实能定位到原文片段。修复一次编造后,重复运行原失败用例,并复跑此前通过的用例。
  • 如果 Node 服务允许智能体更新业务状态,补一条缺少授权的端到端用例,检查写入是否被拦截、是否进入审批,并把复测和签核结果记到同一份发布记录里。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用功能开关控制 AI 代码的发布范围
下一篇
邮件智能体用事务实现崩溃续跑

资讯速览

dev.to · AI · 2026-11-20 14:29

AI 评分 8.0 / 10

相关标签

#AI评估#上线门槛#用例设计

继续阅读

  • VS Code 智能体开始接管日常浏览器
  • 用功能开关控制 AI 代码的发布范围
  • 邮件智能体用事务实现崩溃续跑
  • 用哈希抽检做一次备份恢复演练
  • 给多智能体的关系状态加上时间衰减