LLM 后端评测:先查评分器,再改提示词
作者以完整交互为测试用例,分别评估工具选择、参数准确性和整体通过率,范围覆盖 LLM、编排与执行前校验。修正答案键、工具描述及日期处理后,30 个用例连续三轮达到 90%,但测试不覆盖实际工具执行和数据库。
AI 深度解读
给 LLM 后端做评测,最容易踩的坑,是把工具调用成功当成理解正确。SokoFlow 作者给自己的 AI 分析层出了一套考题,首轮平均只拿到 71.11%,低于 85% 的目标。检查失败记录后,他发现:模型有问题,题库和判分程序也有问题。
修正预期答案、工具说明和日期处理后,系统连续三轮拿到 90%。这篇记录值得读的地方,是作者把这个成绩拆开了:到底测了什么、哪些能力没测到,以及为什么同一套题上调出来的高分还不能证明上线可靠。
先划清边界,才能知道分数证明了什么
SokoFlow 是面向肯尼亚中小企业的 WhatsApp ERP,没有需要商户学习的独立界面,对话就是入口。作者开发约五个月后,在 Phase 3 加入自然语言经营分析:商户提问,LLM 通过函数调用(function calling)选择已有服务。
例如,商户问「上周卖了多少钱」,系统应该选择 get_sales_summary,并生成正确的起止日期。工具即使成功执行,查错了时间范围,回答依然是错的。
因此,Week 5 的评测只覆盖智能层:LLMClient 理解意图,Orchestrator 组织工具选择、参数校验和有限修复,最后由 ToolExecutor 判断提案是否符合工具契约。实际工具执行、Services、数据库、回复格式化和 WhatsApp 投递都在主评测边界之外。
评测用例也不能只是一条孤立消息。商户先问昨天的销售额,再问「前一天呢」「那这周呢」,后续请求依赖前文。作者把完整交互作为 case,每条商户消息作为有独立预期的 evaluation turn。
这里有个容易漏掉的要求:历史上下文必须与生产一致,包括原始消息、之前可能答错的回复和真实形态的状态。先把历史答案整理正确再测试,会悄悄降低难度。
评测边界决定了分数的含义,90% 不能自动解释成端到端可用率。
不只看有没有调用工具,还要拆开判分
对于需要执行的请求,选对工具、填对参数才算完整通过。作者另外记录工具选择准确率和参数准确率,用来定位问题,整体通过率才是 Week 5 的 KPI,部分正确不计入整体通过。
对于天气这类不支持的请求,正确行为是不调用分析工具。但不调用工具之后返回空内容,也不能算成功。作者要求响应非空,而且经过归一化后在结构上可用;没有引入语义分类器判断解释是否贴切。
他也没有拿 LLMResponse.raw_response 来判分。这个字段保留供应商原始响应,适合调试;应用层评测若依赖其内部结构,就会破坏 LLMClient 与供应商解耦的接口约定。代价是,这套评测不能证明所有拒绝说明都准确、有帮助。
系统还允许针对特定错误多请求模型一次。只要在这一次修复机会内得到正确提案,就可以通过,同时单独记录首次成功和修复成功。测的是生产系统的最终行为,也要看清模型用了多少次机会。
题库方面,目标规模是 25–40 个用例,来源包括另一 AI 家族的 Gemini 3 Pro 起草、人工审阅、InteractionLogger 里的真实交互,以及人工编写的预期结果。这样能减少同一模型既出题又答题的自证循环,但不等于题库天然独立。
作者更有价值的设计,是让用例同时拥有多个维度:业务能力、语言复杂度、预期行为和交互轮次。「这周销售额多少」既属于销售汇总,也涉及相对日期,不能只能放进一个分类框。
七个注册工具都要覆盖,再逐层加入表达变化、日期、商品引用、多轮和不支持请求。原文假设真实流量中 70% 都是销售汇总,也不主张让它占评测的 70%。这是检查能力和失败模式的工程考试,不能完全按流量占比出题。
从 71.11% 到 90%,改进里也包含修正考卷
首次运行先撞上了 Groq 的 HTTP 429 Too Many Requests。作者根据输入字符数和 max_tokens 估算请求预算,让每个 LLMClient 实例内的请求共用一个 TokenBucket。
_post_payload 遇到 429 后优先读取 Retry-After;缺失或无效时,从 evaluation_initial_backoff 默认的 1 秒开始指数退避,每次翻倍并加入 10% 抖动,重试上限由 evaluation_max_retries 控制,默认 3 次。这套传输重试当时只用于评测,和参数错误后的模型修复是两条路径。
基础设施稳定后,首轮平均通过率为 71.11%,最低 70.00%、最高 73.33%,标准差 1.92%。失败记录暴露出三类问题:库存题预期商品 UUID,但应用支持按名称查询;排名、趋势和日期说明有歧义;执行器 schema 错误被混同为没有生成工具调用。
作者修正这些问题后,三轮各 30 个评测轮次,均有 27 个通过。下面这份结果同时展示了收益和代价:
Mean Pass Rate : 90.00% (Target: ≥ 85.0%)
Pass Rate Min / Max : 90.00% / 90.00%
Standard Deviation : 0.00%
KPI Status : [ACHIEVED]
Average Cost / Query : $0.000069 (Ceiling: $0.0040)
Budget Ceiling : [MET]
Tool Selection Acc. : 100.00%
Argument Acc. : 92.00%
Non-Execution Acc. : 80.00%
Mean Turn Latency : 19553.8 ms
P95 Latency : 21712.0 ms
要盯住延迟两行:首轮平均延迟是 15420.2 ms,P95 为 17871.4 ms;优化后分别升到约 19.55 秒和 21.71 秒。准确率上升,等待时间也增加了。平均成本则从 $0.000051 升到 $0.000069,仍低于每次 $0.004 的上限。
成本必须包含同一逻辑请求里的全部推理尝试,再对所有轮次取平均。估算月支出时,作者使用:
C = S × Q × D × c̄
S = active shops
Q = daily queries per active shop
D = operating days
c̄ = average cost per logical query
要看清 Q 这一项:作者尚无生产遥测,日查询量只是使用假设。原文举出的 100 queries × $0.0001 × 30 days = $0.30 是提醒读者警惕任意假设,不能当成真实商户成本。
为了让结果可追查,报告还记录题库版本或哈希、应用 git commit、提示词、推理参数、模型身份、实际上下文、工具提案和校验结果。temperature 设为 0.0,也不代表输出必然相同。延迟采用单调时钟,避免系统时间调整干扰。
我的判断
我赞同先检查失败,再改提示词。尤其在工具调用系统里,答案键、参数契约和评分器都是软件,都会出错。但这也限制了前后分数的解释:从 v1.0.0 的 71.11% 到 90%,既有系统修正,也有预期和判分修正,不能把全部提升都归给模型理解能力。
90% 的局限也很具体。作者用同一批 30 个轮次发现问题、调整配置、再次验收,存在评测集污染。原文提出开发集与冻结测试集分离,并要求选定配置后才运行测试集;当前成绩尚不能证明完成了独立验收。
三轮还固定失败在同三个交互:两个涉及额外参数 ranking_dimension、comparison_period,一个是闲聊返回空响应。稳定复现说明问题集中,标准差为零却不能证明对新请求也稳定。
修复路径更没有在这轮实测中触发。它虽然有设计和单元测试,恢复能力仍未被此次评测验证。30 个轮次里少通过一个,成绩就是 86.67%;再少一个就是 83.33%,会跌破 85% 目标,余量并不宽。
相比再加一层 LLM 裁判,结构化判分更便于追查工具错误,但覆盖不了回复语义和表达质量。原文没有给出替代方案的对照数据,不能断言这套方法普遍更优。提供的原文也在末段中途截断,后续结论没有交代完整。
能拿来做什么
- 给 Node 工具调用后端建立独立评测入口,记录用户输入、上下文、预期工具和参数;把数据库执行与前端展示验证安排在另外的检查中,让每个分数都有明确边界。
- 为现有用例增加业务、日期、轮次和预期行为等标签,先按失败模式筛选记录,再决定修改工具说明、日期逻辑还是预期答案。
- 把调试用例与最终验收用例分开,修改题目或判分规则时更新版本和哈希,同时保留实际请求上下文,避免新旧成绩失去可比性。
- 在日常 AI 编程中,把模型修复次数、429 重试、总延迟和总推理成本一起记录;若声称修复机制有效,就补上实际触发修复的评测场景。