LLM 功能上线前,先定义可执行的验收标准
文章建议先限定功能目标,再用真实且经过隐私处理的输入构建评测集,覆盖常规、模糊、边界和对抗请求。评测范围包含输入处理、提示词、检索、工具及回退行为,并要求在查看分数前确定发布门槛。
AI 深度解读
LLM 功能能演示,不代表能上线。几条精心挑选的提示词,只能证明系统在这些输入下表现不错。真实用户会漏信息、给出矛盾条件,还会提出超出产品范围的要求。
作者给出的办法是:先把功能收窄成可观察的任务,再用真实输入建立评估集,提前写清哪些失败必须阻止发布。评估对象覆盖输入、检索、工具调用到兜底的完整流程。这篇没有模型跑分,也没有上线实测数据,但它把团队最容易漏掉的发布准备讲得很具体。
先说清什么叫成功,才能判断模型有没有做错
「做一个回答产品问题的助手」听起来目标明确,实际很难评估。它能回答哪些问题?可以引用什么资料?信息缺失时该追问,还是允许推测?这些问题不落地,评审就容易变成「这个回答看着还行」。
作者建议先写一句任务契约:给定什么输入,面向什么用户,必须产出什么可观察的结果;遇到哪些条件,需要拒绝、追问或转人工。
原文用订单客服举例:根据已认证账户的订单数据,返回订单当前状态和下一步允许执行的操作;无法识别订单时,索取缺失的标识,不能猜测。
这句话直接形成了几个检查点:是否查对订单、操作是否符合政策、信息不足时是否追问。再把支持的语言和字段、输出格式、允许依据的系统或文档,以及禁止执行的动作列出来,评估才有边界。
任务边界越明确,团队越容易识别一个流畅回答里的错误。
一个功能如果同时负责分类、字段提取和自由问答,要分别评估。分类题做得好,不能抵消自由问答里编造政策的问题。综合分可以展示趋势,但不能掩盖某一类任务的严重失败。
评估集要覆盖真实麻烦,指标要对应失败后果
作者建议从客服工单、搜索词、用户表单、历史日志、专家编写的案例,以及原型阶段的失败输出中收集输入。合成案例适合补充罕见、敏感或对抗条件,但不该替代真实请求。
真实输入的价值,在于它保留了产品文档里没有的表达方式和缺失信息。使用之前,需要移除或转换个人信息、密钥和客户标识,只保留评估所需的上下文,并遵守相应的数据保留和访问要求。
第一批需要多少条?原文没有给通用下限,只建议从人工能逐条检查的几十个精选案例起步。这是启动经验,不是统计保证。比数量更重要的是覆盖:正常请求、信息缺失、不支持的请求、证据冲突,以及试图绕过指令的输入,都应该占有位置。
数据集还要记录预期行为。字段提取可以保存精确答案或 Schema;开放问答则应保存必需事实、允许来源、禁止断言和评分规则,不必把正确答案锁死成一句话。同时保留稳定的回归子集,再用工作集持续收集新案例。
指标也应按后果拆开:
- 结构化输出检查必填字段、类型、枚举值和跨字段约束。回答再顺畅,无法满足下游 JSON 契约,仍然算失败。
- 事实任务单独记录关键错误。订单状态答错、编造政策,不能与措辞生硬混在同一个平均分里。
- 延迟和成本覆盖检索、工具、重试及后处理,报告中位数和尾部延迟,并按任务或请求大小拆分。
- 成本单位可以是「每次成功解决问题的成本」,因为单次模型调用便宜,不代表完成任务便宜。
原文没有提供任何指标的实测结果,也明确说明订单案例只是示意。这里给出的是评估方法,不能据此推断采用后能提升多少准确率。
LLM 裁判和 RAG 都要拆开验证
开放回答很难全部交给程序断言,LLM 裁判可以辅助检查相关性、完整性、依据是否充分、语气是否合适。但裁判也会判断错,尤其需要警惕它把错误答案判成合格。
作者给出的校准步骤是:先让合格的人类评审者依据同一套规则独立标注,再让裁判评估完全相同的案例,且不向它暴露人工标签;随后比较通过与否的一致性,逐类检查分歧,修改规则后重跑。
评分规则必须描述可观察行为。例如,1 分表示全部条件通过,0 分表示出现关键政策或事实错误,中间分数表示部分完成。严重失败还应独立设置二元门槛,不能靠其他优点补分。
如果只是比较两版输出,也可以使用成对评审,让裁判判断哪一版更符合规则。答案顺序需要随机化,并检查它是否偏爱更长或固定位置的回答。裁判提示词和裁判模型版本,也要纳入评估记录。
RAG(检索增强生成)则要区分两条链路:是否找到了正确证据,以及模型是否依据证据正确作答。答案错了,先看检索片段。关键政策没被找到,或者找到了旧版本,只改提示词未必有效。
检索侧检查 Context recall、Context precision、来源与版本正确性,以及访问边界;生成侧检查事实正确性、faithfulness 或 groundedness、引用是否支持结论,以及证据不足时是否拒答。这些指标回答不同问题,不能互相替代。
记录中应保留查询、文档 ID 和版本、排序、实际传给模型的片段、最终答案与引用。这样才能判断退化发生在哪一段。权限测试必须单独阻止发布,相关性再高,也不能抵消检索出其他租户私有文档的问题。
我的判断
我认可作者把评估前移的主张。它最有用的部分,是要求团队在看到分数前决定发布条件。否则,同一个失败很容易在发布压力下从「不可接受」变成「暂时可以忍」。
原文的 10 项发布检查覆盖任务契约、案例代表性、预期结果、关键风险、任务与事实质量、结构校验、延迟成本、人工抽查、裁判校准,以及回滚、兜底、转人工和监控。具体阈值则要结合失败后果、基线表现、流量和人工审核能力确定,作者没有给一套通用数字。
这也暴露了执行前提:团队需要有人判断答案是否正确,需要可用的业务规则和数据,还需要保存足够的调用记录。模型能辅助评分,却不能替团队定义「允许承诺什么」。
与单看文本重合度、语义相似度或通用模型榜单相比,这套办法更贴近实际功能。有效改写可能被文本重合度误伤,听起来接近的错误答案也可能获得较高语义分。但原文没有提供对照实验,因此它仍是一套有解释力的工程建议,不能当作已证明收益的方案。
测试集里零次关键失败,只说明这些已定义案例通过,不能证明线上零风险。
上线后还要监控反馈、转人工、纠正记录、任务完成率、延迟、成本和安全事件,把新失败转成案例。离线回归负责守住已知边界,线上监控负责发现未覆盖的输入。
能拿来做什么
- 如果前端正在接入要求返回 JSON 的 AI 功能,可以先写清字段 Schema 和业务约束,并把空字段、错误枚举、字段间矛盾纳入评估。页面能展示出内容,不应成为唯一的成功标准。
- 如果 Node 服务会调用模型和业务工具,应同时验证工具选择、参数和最终回复,并统计检索、重试、解析在内的完整耗时与成本。
- 如果在做文档问答,可以保留检索记录,分别检查是否找到当前、获授权的资料,以及回答是否忠于资料。遇到错误时,先定位检索还是生成出了问题。
- 每次修改系统提示词、模板、模型、模型参数、检索配置、切块方式、工具、输出 Schema 或相关应用代码,都重跑同一套评估,保存配置和结果,与上一接受版本逐类比较,再经明确评审更新基线。