AI 应用从演示到上线,先定义验收指标
演示通常使用团队挑选的少量样例,线上却要持续处理大量意外输入,同一输入也可能得到不同结果。文章将可靠性、成本与安全拆成独立问题,并指出缺少质量指标会让团队难以判断每次改动的效果。
AI 深度解读
一场 AI 演示里,模型每个问题都答上来了,预算也批了。三个月后,团队却在争论答案算不算合格,云账单还超了预期。作者用这个场景指出,演示只能证明方案跑得通,上线还得回答三个问题:质量能不能复测,每完成一件事要花多少钱,系统出错时会影响谁。
对准备把原型接进业务的前端和全栈团队,最值得先做的是攒一套真实问题。后面改 Prompt、换模型、缩短上下文,都可以拿同一批题来判断改动值不值。

改完 Prompt,怎么知道系统真的变好了?
演示用的往往是团队自己挑的几道题,现场跑过一次就结束。上线后,系统每天可能遇到成千上万条没见过的输入。语言模型对同一个问题也可能给出不同答案,还能把错误说得很流畅。一个 Prompt 在 10 道题上表现不错,第 11 道就可能翻车。改完以后有 3 道题变好、2 道题悄悄退步,只看刚修好的例子,很容易把局部改善当成整体进步。
作者建议在搭产品之前,先收集 50 至 100 条有代表性的真实问题,把表述含糊、故意为难系统的输入也放进去。上线后,每遇到一次失败,就把它加进测试集。有标准答案的任务可以直接比对;开放式回答则要写清评分规则,例如结论有没有来源、关键点有没有答全、语气是否合适。规则要具体到两个人能按同一尺度打分。
把这批题做成回归测试,Prompt、模型或数据一变就自动重跑。用模型批量评分可以省人工,但要抽一部分和人工评分核对。上线后还得抽查真实回答、收集赞踩反馈,定期复盘表现最差的样本。离线测试告诉你已知问题有没有复发,线上抽样帮你发现题库还没覆盖的问题。
为什么要算每个成功任务的成本?
演示只跑几十次请求,账单上很难看出差异。真实流量一上来,每次都发送整篇文档、默认用最大的模型、失败就重试,这些开销会叠加。一次用户操作如果串起 5 次模型调用,在单次成本相同的情况下,模型调用成本就是单次调用的 5 倍。
上线前可以先用单次请求的 token 数、每个任务的调用次数和预计任务量估账,再把每个成功任务的成本同它能带来的业务价值比较。简单分类或字段提取可以用小模型试跑,把大模型留给确实需要它的步骤。长文档只检索相关片段,能安全复用的结果再缓存。按用户和按天设用量上限,支出突然上涨时发告警。
耗时也要一起看。答案正确但要等 40 秒,对很多产品已经算失败。作者用第 2 周和第 6 个月作对比:越早把单次任务的账算清,越早知道这套流程值不值得继续做。
系统读得到数据、调得动工具,谁来守权限?
演示时,操作者通常会按预设流程提问。真实用户可能上传一份藏着指令的文档,也可能问到别的客户的数据。作者建议让回答基于检索到的资料,标明来源,资料不够时允许系统说「不知道」。邮件、网页和上传文件都按不可信内容处理,与应用自己的指令分开,里面的文字不能直接触发敏感操作。
权限得由应用代码执行。先确认当前用户能读哪些数据,再把允许访问的资料送给模型。工具默认只读,花钱、删数据或联系客户等操作交给人审批。记录足够排查问题的输入、输出、工具调用和决策,并提前定好降级路径。模型不可用、太慢或拿不准时,系统可以给简化答案、转人工,或者明确提示失败。
我的判断
我认同作者把评估放在第一位。团队通常会从手动试几条问题开始,这适合快速验证思路。到了要反复改 Prompt、换模型的阶段,固定题库能让每次改动都有可比的结果。先有这把尺子,才看得出缩短上下文或换小模型以后,省下的成本有没有伴随质量下降。
原文没有给出实测结果或对照数据。50 至 100 条是作者给的经验起点,40 秒是举例,第 2 周和第 6 个月也只是说明发现问题的早晚。对内部只读问答,一套检索和引用检查可能就覆盖了主要问题;工具一旦能写入业务数据,只看回答得分就会漏掉关键风险。即使回答流畅、引用齐全,也得单独验证权限检查和审批是否生效。
能拿来做什么
- 给站内问答建一份回归题库,从真实提问里选出常见问题、含糊问法和资料答不了的问题,为每题记录预期结论或评分规则,在改 Prompt、模型或知识库后重跑。
- 在 Node 服务里按用户任务汇总模型调用次数、token 用量、耗时和成功状态,用这些记录估算每个成功任务的成本,再用同一批测试题验证换小模型或减少检索片段的影响。
- 给能调用工具的助手加验收用例,用含有干扰指令的上传文件验证它无法触发写操作,并检查跨租户资料在送入模型之前就被服务端权限检查拦住。
- 在前端准备资料不足、请求超时和转人工的界面状态,用真实请求链路验证各个分支,让用户在模型答不了时知道接下来能做什么。