基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-21 03:00

LLM 功能上线前,先定义可执行的验收标准

dev.to · AI#大模型评测#质量保障#应用上线
Editor brief · 编辑速览

文章建议先限定功能目标,再用真实且经过隐私处理的输入构建评测集,覆盖常规、模糊、边界和对抗请求。评测范围包含输入处理、提示词、检索、工具及回退行为,并要求在查看分数前确定发布门槛。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

LLM 功能能演示,不代表能上线。几条精心挑选的提示词,只能证明系统在这些输入下表现不错。真实用户会漏信息、给出矛盾条件,还会提出超出产品范围的要求。

作者给出的办法是:先把功能收窄成可观察的任务,再用真实输入建立评估集,提前写清哪些失败必须阻止发布。评估对象覆盖输入、检索、工具调用到兜底的完整流程。这篇没有模型跑分,也没有上线实测数据,但它把团队最容易漏掉的发布准备讲得很具体。

先说清什么叫成功,才能判断模型有没有做错

「做一个回答产品问题的助手」听起来目标明确,实际很难评估。它能回答哪些问题?可以引用什么资料?信息缺失时该追问,还是允许推测?这些问题不落地,评审就容易变成「这个回答看着还行」。

作者建议先写一句任务契约:给定什么输入,面向什么用户,必须产出什么可观察的结果;遇到哪些条件,需要拒绝、追问或转人工。

原文用订单客服举例:根据已认证账户的订单数据,返回订单当前状态和下一步允许执行的操作;无法识别订单时,索取缺失的标识,不能猜测。

这句话直接形成了几个检查点:是否查对订单、操作是否符合政策、信息不足时是否追问。再把支持的语言和字段、输出格式、允许依据的系统或文档,以及禁止执行的动作列出来,评估才有边界。

任务边界越明确,团队越容易识别一个流畅回答里的错误。

一个功能如果同时负责分类、字段提取和自由问答,要分别评估。分类题做得好,不能抵消自由问答里编造政策的问题。综合分可以展示趋势,但不能掩盖某一类任务的严重失败。

评估集要覆盖真实麻烦,指标要对应失败后果

作者建议从客服工单、搜索词、用户表单、历史日志、专家编写的案例,以及原型阶段的失败输出中收集输入。合成案例适合补充罕见、敏感或对抗条件,但不该替代真实请求。

真实输入的价值,在于它保留了产品文档里没有的表达方式和缺失信息。使用之前,需要移除或转换个人信息、密钥和客户标识,只保留评估所需的上下文,并遵守相应的数据保留和访问要求。

第一批需要多少条?原文没有给通用下限,只建议从人工能逐条检查的几十个精选案例起步。这是启动经验,不是统计保证。比数量更重要的是覆盖:正常请求、信息缺失、不支持的请求、证据冲突,以及试图绕过指令的输入,都应该占有位置。

数据集还要记录预期行为。字段提取可以保存精确答案或 Schema;开放问答则应保存必需事实、允许来源、禁止断言和评分规则,不必把正确答案锁死成一句话。同时保留稳定的回归子集,再用工作集持续收集新案例。

指标也应按后果拆开:

  • 结构化输出检查必填字段、类型、枚举值和跨字段约束。回答再顺畅,无法满足下游 JSON 契约,仍然算失败。
  • 事实任务单独记录关键错误。订单状态答错、编造政策,不能与措辞生硬混在同一个平均分里。
  • 延迟和成本覆盖检索、工具、重试及后处理,报告中位数和尾部延迟,并按任务或请求大小拆分。
  • 成本单位可以是「每次成功解决问题的成本」,因为单次模型调用便宜,不代表完成任务便宜。

原文没有提供任何指标的实测结果,也明确说明订单案例只是示意。这里给出的是评估方法,不能据此推断采用后能提升多少准确率。

LLM 裁判和 RAG 都要拆开验证

开放回答很难全部交给程序断言,LLM 裁判可以辅助检查相关性、完整性、依据是否充分、语气是否合适。但裁判也会判断错,尤其需要警惕它把错误答案判成合格。

作者给出的校准步骤是:先让合格的人类评审者依据同一套规则独立标注,再让裁判评估完全相同的案例,且不向它暴露人工标签;随后比较通过与否的一致性,逐类检查分歧,修改规则后重跑。

评分规则必须描述可观察行为。例如,1 分表示全部条件通过,0 分表示出现关键政策或事实错误,中间分数表示部分完成。严重失败还应独立设置二元门槛,不能靠其他优点补分。

如果只是比较两版输出,也可以使用成对评审,让裁判判断哪一版更符合规则。答案顺序需要随机化,并检查它是否偏爱更长或固定位置的回答。裁判提示词和裁判模型版本,也要纳入评估记录。

RAG(检索增强生成)则要区分两条链路:是否找到了正确证据,以及模型是否依据证据正确作答。答案错了,先看检索片段。关键政策没被找到,或者找到了旧版本,只改提示词未必有效。

检索侧检查 Context recall、Context precision、来源与版本正确性,以及访问边界;生成侧检查事实正确性、faithfulness 或 groundedness、引用是否支持结论,以及证据不足时是否拒答。这些指标回答不同问题,不能互相替代。

记录中应保留查询、文档 ID 和版本、排序、实际传给模型的片段、最终答案与引用。这样才能判断退化发生在哪一段。权限测试必须单独阻止发布,相关性再高,也不能抵消检索出其他租户私有文档的问题。

我的判断

我认可作者把评估前移的主张。它最有用的部分,是要求团队在看到分数前决定发布条件。否则,同一个失败很容易在发布压力下从「不可接受」变成「暂时可以忍」。

原文的 10 项发布检查覆盖任务契约、案例代表性、预期结果、关键风险、任务与事实质量、结构校验、延迟成本、人工抽查、裁判校准,以及回滚、兜底、转人工和监控。具体阈值则要结合失败后果、基线表现、流量和人工审核能力确定,作者没有给一套通用数字。

这也暴露了执行前提:团队需要有人判断答案是否正确,需要可用的业务规则和数据,还需要保存足够的调用记录。模型能辅助评分,却不能替团队定义「允许承诺什么」。

与单看文本重合度、语义相似度或通用模型榜单相比,这套办法更贴近实际功能。有效改写可能被文本重合度误伤,听起来接近的错误答案也可能获得较高语义分。但原文没有提供对照实验,因此它仍是一套有解释力的工程建议,不能当作已证明收益的方案。

测试集里零次关键失败,只说明这些已定义案例通过,不能证明线上零风险。

上线后还要监控反馈、转人工、纠正记录、任务完成率、延迟、成本和安全事件,把新失败转成案例。离线回归负责守住已知边界,线上监控负责发现未覆盖的输入。

能拿来做什么

  • 如果前端正在接入要求返回 JSON 的 AI 功能,可以先写清字段 Schema 和业务约束,并把空字段、错误枚举、字段间矛盾纳入评估。页面能展示出内容,不应成为唯一的成功标准。
  • 如果 Node 服务会调用模型和业务工具,应同时验证工具选择、参数和最终回复,并统计检索、重试、解析在内的完整耗时与成本。
  • 如果在做文档问答,可以保留检索记录,分别检查是否找到当前、获授权的资料,以及回答是否忠于资料。遇到错误时,先定位检索还是生成出了问题。
  • 每次修改系统提示词、模板、模型、模型参数、检索配置、切块方式、工具、输出 Schema 或相关应用代码,都重跑同一套评估,保存配置和结果,与上一接受版本逐类比较,再经明确评审更新基线。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用真实缺陷检验 Gemini 4 Neon 编程表现
下一篇
同一模型换个榜单,Codex 排名为何悬殊

资讯速览

dev.to · AI · 2026-11-21 03:00

AI 评分 8.0 / 10

相关标签

#大模型评测#质量保障#应用上线

继续阅读

  • 让 AI 操作 Windows,先划清授权边界
  • 用真实缺陷检验 Gemini 4 Neon 编程表现
  • 同一模型换个榜单,Codex 排名为何悬殊
  • Agent 传文件只传引用,字节交给宿主搬运
  • 微软开发工具更新:模型、审查与浏览器代理