提示词改动上线前,为什么还要跑评估
文章用客服智能体误分类案例说明,单元测试通过并不代表模型在真实输入上行为正确。针对输出的概率性,作者主张引入行为评估,并指出即使温度设为零,托管模型的结果也可能存在差异。
AI 深度解读
改一行 system prompt,测试全绿,上线后却把退款请求分成普通工单。原文讨论的就是这类问题:代码没有报错,Agent 的业务行为已经偏了。作者给出的办法,是在单元测试之外建立一套行为评估,用真实输入、明确预期和历史基线检查模型。
它值得程序员花几分钟读,因为方案很轻:一份数据集、一个运行器,再加上每次修改后检查结果的习惯。但评估是否可信,取决于你怎样定义正确行为,以及有没有把「字段存在」误当成「字段正确」。
单元测试通过,为什么 Agent 还是会做错事
单元测试擅长检查确定性逻辑,例如日期解析、权限校验和业务规则。输入与依赖固定后,结果应该稳定;发生偏差,就该调查。
LLM 调用不同。同一句话可能得到措辞不同、语义相同的回答,直接比较字符串容易误报;只断言输出包含某个字段,又可能漏掉分类错误和业务信息错误。
作者特别提醒,即使设置 temperature: 0,托管模型也可能在不同运行中产生差异。这个参数能减少采样波动,却不能保证输出完全一致。
所以,问题不是要不要继续写单元测试,而是需要补上另一层检查:面对一组有代表性的用户输入,Agent 是否持续做出预期决策。
原文把行为拆成三个维度:
- 是否行动:也就是 noop 判断。错把闲聊当请求,会产生无效事件;错把请求当闲聊,会悄悄漏单。
- 采取什么行动:商品损坏的请求,按原文的业务约定应进入
support.refund.process,而不是support.ticket.create。两种 action 都合法,但只有一种符合预期。 - 提取什么字段:日期、订单号、预订编号会直接影响后续操作,不能只看分类是否正确。
这里的 eval,可以理解成一组带标准答案的业务考题。它测的是模型在这些题目上的表现,不能单靠一次通过就证明系统可靠。
数据集要像用户消息,评分要拆到业务决策
干净、完整、语法正确的输入通常不难。真正容易暴露问题的,是错别字、隐含意图、多语言和一句话里的多个请求。
下面这条样例把输入、分类和字段预期放在一起,让每次修改都有相同的检查对象:
- id: h05
tags: [typo]
message: "i nee to chaneg my bokking to april 3rd plz ref XY789"
expected:
action_type: hospitality.booking.modify
noop: false
fields:
booking_ref: "XY789"
new_date: "2026-04-03"
要盯住 new_date 这一行:「april 3rd」落到 2026-04-03,依赖参考日期。作者要求固定这个日期,并在每轮运行时传给 Agent,否则日历变了,标准答案就可能失效。
tags 也不是装饰。除了 typo,原文还强调 ambiguous、implicit 和 multilang 等分类。总分下降只能说明有问题,按标签拆分才能看出问题集中在哪类输入。
评分同样要拆开。作者的简化评估器分别检查 noop、action type 和字段;其中,字段检查最初只判断是否缺失:
def check_fields(expected_fields, output, errors)
actual = output.fetch("fields", {})
expected_fields.each_key do |name|
value = actual[name]
errors << "fields.#{name}: missing" if value.nil? || value.to_s.strip.empty?
end
end
关键在 value.nil? || value.to_s.strip.empty?:它能抓住空值,却不会比较字段是否等于标准答案。把日期填成另一天,照样可能通过。
作者这样起步,是为了避免不同表示形式导致误报。例如「march 20」与「2026-03-20」在特定上下文中可能表达同一天,需要先归一化再比较。但原文也承认,日期、金额、ID 等直接驱动业务的字段,必须补上值校验。
字段存在,只能证明模型填了东西,不能证明后端可以放心执行。
对于这些结构化输出,作者优先使用确定性规则,而非再调用一个 LLM 当裁判。原因很实际:规则检查快,也不会引入第二个模型的判断波动。自由文本是否答得好,才更需要考虑模型裁判。
基线不只记录分数,还要记录分数自己会怎么动
原文把每轮结果保存在 spec/eval/results/,文件名包含日期、时间或实验标签,例如 20260307_baseline.yml、20260308_224748_support_recheck.yml 和 20260309_122811_gemini-2.0-flash.yml。
这样做的价值,是让 prompt 修改、模型替换和流水线调整都有历史结果可比较。一次 YAML 改动看起来很小,也可能破坏多语言字段提取。
作者给出的基线中,action_type 为 95.8,fields 为 85.7。除了看总分,还要检查原本满分的类别是否开始失败,以及单独的 multilang 类别是否退步。
但小幅下降不一定是回归。作者建议用同一配置重复运行几次,观察自然波动,再判断变化是否超出这个范围。CI 可以稍后接,影响模型行为的修改在合并前持续跑评估更重要。
第一轮基线暴露了 10 个失败,具体错误比总分更有指导意义:
「The room is too cold」没有触发 hospitality.room_service.request。这未必是模型能力问题,也可能是产品规则尚未明确:遇到模糊抱怨,应该直接行动,还是保守处理?
「✅ driver karim delivered everything in nice 🏁」正确识别了 operations.driver.update,却漏掉 destination: Nice。Nice 既可能是城市名,也可能被理解为普通形容词。
同时取消预订 HT9921、查询订单 ORD-5500 的消息,则只被路由到一个业务域。它暴露的是多意图保留问题,单看某个 action 合法与否抓不住。
成本方面,作者报告:在其使用的模型与价格下,98 cases × gpt-4o-mini = $0.0106。同一数据集换成 gemini-2.0-flash,action_type 为 94.1,fields 为 83.2。
这些运行都发生在 2026 年 3 月。费用取决于当时价格、输入长度和输出 token,不能直接当作当前预算。作者把 action type 的 1.7 分差距解读为一两个样例,认为处于运行波动范围内,因此可以转而比较成本和延迟。
我的判断
我认同这套方法把排查对象从「prompt 看着对不对」,推进到了「哪些业务输入开始失败」。拆分行动判断、动作类型和字段,也比只给一个通过率更容易指导修复。
但它有两个前提。
第一,标准答案得先站得住。「房间太冷」是否触发服务,商品损坏是否直接进入退款流程,都要由团队确定。评估数据集会固化业务选择,规则有争议时,模型得分再精确也解决不了争议。
第二,检查器必须覆盖真正的业务风险。对会修改预订或处理退款的字段,我倾向于从第一版就验证关键值。可以先统一日期格式、金额单位,再比较结果,不必等系统演进后才补。
模型比较也要保留疑问。原文给出了两组分数,却没有展示重复运行的具体分布、各指标的分母和计算细节。因此,「这两个模型在这里等价」更适合作为作者的实践判断,现有证据不足以确认差异没有意义。
相比随手聊几轮就判断模型好坏,固定数据集更可复查;相比只跑集成测试,它能覆盖更多表达方式。但它仍然只能检验已有样例,需要持续吸收生产失败。
三类测试应各司其职:单元测试检查确定性代码,evals 衡量模型行为,集成测试验证输出能否在系统中正确执行。分类正确,不代表退款接口一定调用成功。
能拿来做什么
- 给现有 Agent 建一份小型数据集,优先收录真实失败、错别字和隐含请求,并为每条输入写清是否行动、动作类型及关键字段。
- 如果你用 Node 编排模型调用,就把上述三个维度分别计分;日期、金额和 ID 先归一化再校验,同时固定参考日期等上下文。
- 修改 system prompt、替换模型或调整流水线前后,使用同一数据集比较结果,保存配置、分项得分和失败样例,并通过重复运行估计波动。
- 把修复后的生产问题加入数据集,再用集成测试验证对应业务操作确实执行成功,让行为判断与执行结果都能被检查。