基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 15:41

LLM 后端评测:先查评分器,再改提示词

dev.to · AI#模型评估#工具调用#后端开发
Editor brief · 编辑速览

作者以完整交互为测试用例,分别评估工具选择、参数准确性和整体通过率,范围覆盖 LLM、编排与执行前校验。修正答案键、工具描述及日期处理后,30 个用例连续三轮达到 90%,但测试不覆盖实际工具执行和数据库。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 LLM 后端做评测,最容易踩的坑,是把工具调用成功当成理解正确。SokoFlow 作者给自己的 AI 分析层出了一套考题,首轮平均只拿到 71.11%,低于 85% 的目标。检查失败记录后,他发现:模型有问题,题库和判分程序也有问题。

修正预期答案、工具说明和日期处理后,系统连续三轮拿到 90%。这篇记录值得读的地方,是作者把这个成绩拆开了:到底测了什么、哪些能力没测到,以及为什么同一套题上调出来的高分还不能证明上线可靠。

先划清边界,才能知道分数证明了什么

SokoFlow 是面向肯尼亚中小企业的 WhatsApp ERP,没有需要商户学习的独立界面,对话就是入口。作者开发约五个月后,在 Phase 3 加入自然语言经营分析:商户提问,LLM 通过函数调用(function calling)选择已有服务。

例如,商户问「上周卖了多少钱」,系统应该选择 get_sales_summary,并生成正确的起止日期。工具即使成功执行,查错了时间范围,回答依然是错的。

因此,Week 5 的评测只覆盖智能层:LLMClient 理解意图,Orchestrator 组织工具选择、参数校验和有限修复,最后由 ToolExecutor 判断提案是否符合工具契约。实际工具执行、Services、数据库、回复格式化和 WhatsApp 投递都在主评测边界之外。

评测用例也不能只是一条孤立消息。商户先问昨天的销售额,再问「前一天呢」「那这周呢」,后续请求依赖前文。作者把完整交互作为 case,每条商户消息作为有独立预期的 evaluation turn。

这里有个容易漏掉的要求:历史上下文必须与生产一致,包括原始消息、之前可能答错的回复和真实形态的状态。先把历史答案整理正确再测试,会悄悄降低难度。

评测边界决定了分数的含义,90% 不能自动解释成端到端可用率。

不只看有没有调用工具,还要拆开判分

对于需要执行的请求,选对工具、填对参数才算完整通过。作者另外记录工具选择准确率和参数准确率,用来定位问题,整体通过率才是 Week 5 的 KPI,部分正确不计入整体通过。

对于天气这类不支持的请求,正确行为是不调用分析工具。但不调用工具之后返回空内容,也不能算成功。作者要求响应非空,而且经过归一化后在结构上可用;没有引入语义分类器判断解释是否贴切。

他也没有拿 LLMResponse.raw_response 来判分。这个字段保留供应商原始响应,适合调试;应用层评测若依赖其内部结构,就会破坏 LLMClient 与供应商解耦的接口约定。代价是,这套评测不能证明所有拒绝说明都准确、有帮助。

系统还允许针对特定错误多请求模型一次。只要在这一次修复机会内得到正确提案,就可以通过,同时单独记录首次成功和修复成功。测的是生产系统的最终行为,也要看清模型用了多少次机会。

题库方面,目标规模是 25–40 个用例,来源包括另一 AI 家族的 Gemini 3 Pro 起草、人工审阅、InteractionLogger 里的真实交互,以及人工编写的预期结果。这样能减少同一模型既出题又答题的自证循环,但不等于题库天然独立。

作者更有价值的设计,是让用例同时拥有多个维度:业务能力、语言复杂度、预期行为和交互轮次。「这周销售额多少」既属于销售汇总,也涉及相对日期,不能只能放进一个分类框。

七个注册工具都要覆盖,再逐层加入表达变化、日期、商品引用、多轮和不支持请求。原文假设真实流量中 70% 都是销售汇总,也不主张让它占评测的 70%。这是检查能力和失败模式的工程考试,不能完全按流量占比出题。

从 71.11% 到 90%,改进里也包含修正考卷

首次运行先撞上了 Groq 的 HTTP 429 Too Many Requests。作者根据输入字符数和 max_tokens 估算请求预算,让每个 LLMClient 实例内的请求共用一个 TokenBucket。

_post_payload 遇到 429 后优先读取 Retry-After;缺失或无效时,从 evaluation_initial_backoff 默认的 1 秒开始指数退避,每次翻倍并加入 10% 抖动,重试上限由 evaluation_max_retries 控制,默认 3 次。这套传输重试当时只用于评测,和参数错误后的模型修复是两条路径。

基础设施稳定后,首轮平均通过率为 71.11%,最低 70.00%、最高 73.33%,标准差 1.92%。失败记录暴露出三类问题:库存题预期商品 UUID,但应用支持按名称查询;排名、趋势和日期说明有歧义;执行器 schema 错误被混同为没有生成工具调用。

作者修正这些问题后,三轮各 30 个评测轮次,均有 27 个通过。下面这份结果同时展示了收益和代价:

Mean Pass Rate       : 90.00% (Target: ≥ 85.0%)
Pass Rate Min / Max  : 90.00% / 90.00%
Standard Deviation   : 0.00%
KPI Status           : [ACHIEVED]

Average Cost / Query : $0.000069 (Ceiling: $0.0040)
Budget Ceiling       : [MET]

Tool Selection Acc.  : 100.00%
Argument Acc.        : 92.00%
Non-Execution Acc.   : 80.00%

Mean Turn Latency    : 19553.8 ms
P95 Latency          : 21712.0 ms

要盯住延迟两行:首轮平均延迟是 15420.2 ms,P95 为 17871.4 ms;优化后分别升到约 19.55 秒和 21.71 秒。准确率上升,等待时间也增加了。平均成本则从 $0.000051 升到 $0.000069,仍低于每次 $0.004 的上限。

成本必须包含同一逻辑请求里的全部推理尝试,再对所有轮次取平均。估算月支出时,作者使用:

C = S × Q × D × c̄

S  = active shops
Q  = daily queries per active shop
D  = operating days
c̄  = average cost per logical query

要看清 Q 这一项:作者尚无生产遥测,日查询量只是使用假设。原文举出的 100 queries × $0.0001 × 30 days = $0.30 是提醒读者警惕任意假设,不能当成真实商户成本。

为了让结果可追查,报告还记录题库版本或哈希、应用 git commit、提示词、推理参数、模型身份、实际上下文、工具提案和校验结果。temperature 设为 0.0,也不代表输出必然相同。延迟采用单调时钟,避免系统时间调整干扰。

我的判断

我赞同先检查失败,再改提示词。尤其在工具调用系统里,答案键、参数契约和评分器都是软件,都会出错。但这也限制了前后分数的解释:从 v1.0.0 的 71.11% 到 90%,既有系统修正,也有预期和判分修正,不能把全部提升都归给模型理解能力。

90% 的局限也很具体。作者用同一批 30 个轮次发现问题、调整配置、再次验收,存在评测集污染。原文提出开发集与冻结测试集分离,并要求选定配置后才运行测试集;当前成绩尚不能证明完成了独立验收。

三轮还固定失败在同三个交互:两个涉及额外参数 ranking_dimension、comparison_period,一个是闲聊返回空响应。稳定复现说明问题集中,标准差为零却不能证明对新请求也稳定。

修复路径更没有在这轮实测中触发。它虽然有设计和单元测试,恢复能力仍未被此次评测验证。30 个轮次里少通过一个,成绩就是 86.67%;再少一个就是 83.33%,会跌破 85% 目标,余量并不宽。

相比再加一层 LLM 裁判,结构化判分更便于追查工具错误,但覆盖不了回复语义和表达质量。原文没有给出替代方案的对照数据,不能断言这套方法普遍更优。提供的原文也在末段中途截断,后续结论没有交代完整。

能拿来做什么

  • 给 Node 工具调用后端建立独立评测入口,记录用户输入、上下文、预期工具和参数;把数据库执行与前端展示验证安排在另外的检查中,让每个分数都有明确边界。
  • 为现有用例增加业务、日期、轮次和预期行为等标签,先按失败模式筛选记录,再决定修改工具说明、日期逻辑还是预期答案。
  • 把调试用例与最终验收用例分开,修改题目或判分规则时更新版本和哈希,同时保留实际请求上下文,避免新旧成绩失去可比性。
  • 在日常 AI 编程中,把模型修复次数、429 重试、总延迟和总推理成本一起记录;若声称修复机制有效,就补上实际触发修复的评测场景。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
固定探针可能让模型 API 验真失效
下一篇
记录架构决策,防止 AI 反复改错

资讯速览

dev.to · AI · 2026-11-16 15:41

AI 评分 8.0 / 10

相关标签

#模型评估#工具调用#后端开发

继续阅读

  • Python 网关实战:逐层压低大模型调用费
  • 固定探针可能让模型 API 验真失效
  • 记录架构决策,防止 AI 反复改错
  • 超长空白可掩藏编程智能体恶意指令
  • 13 个编程智能体如何验收与限权