意图分类选型：低价与达标须分开评估

给银行客服消息分配意图标签，最便宜的模型该怎么选？作者用 BANKING77 的 150 条消息比较了十个模型：如果同时要求「可靠地超过 70% 正确率」和「能证明与现有模型足够接近」，GPT-6.1 Terra 是这次测试的最低成本选择，每次成功任务花费 $0.000727，比基线 GPT-6.1 Sol 低 42.8%。

但更便宜的 GPT-6 Luna、Claude Haiku 5.5 也超过了及格线。它们为什么没被选中，以及重试怎样改变账单，比榜首名字更值得看。

超过及格线，为什么还不能替换现有模型

测试从 BANKING77 的 3,080 条测试数据中，用固定随机种子抽取 150 条。数据许可为 CC BY 4.0，任务是从 77 个意图标签中返回唯一一个标签。Temperature 为 0，输出不是合法标签时最多重试 2 次，每次尝试都计费。十个模型总共花了 $0.58，价格取自 OpenRouter，日期是 2026-11-05。

作者给选型设了两道门槛。

第一道是超过 70% 正确率，而且不能只看样本成绩：95% Wilson 区间的下界也必须达到 70%。这个区间表达的是有限样本下正确率的不确定性。样本正确率达标、区间却向下越过门槛，只能算「临界」；正确率本身不足则算「低于门槛」。

第二道是匹配基线。作者用精确单侧配对检验，判断候选模型能否满足「比 GPT-6.1 Sol 最多差 5 个百分点」。配对是逐条比较同一道题上的输赢，不只是比较两个总分。

Terra 正确率为 84.0%，Sol 为 86.0%；按作者报告，Terra 通过了上述判断。两者每次成功任务成本分别是 $0.000727 和 $0.001272。

GPT-6 Luna 的正确率为 82.0%，区间为 75.1%–87.3%，每次成功仅 $0.00009，约比 Sol 便宜 14 倍。但它答错了 8 道 Sol 答对的题，只补回了 2 道 Sol 答错的题。在这 150 条样本上，检验没能证明它落在允许退步的范围内。

没能证明足够接近，不等于已经证明不够接近。

Claude Haiku 5.5 也是类似情况：正确率 80.0%，每次成功 $0.000138，延迟中位数 249 ms，是本次最快的模型；它超过了及格线，但未被证明匹配 Sol。

真正要算的，是成功交付一次要花多少钱

Token 单价只告诉你一次调用的价格，业务还要承担无效输出和重试。

deepseek-v4.1-flash 超过了及格线，但 150 个任务触发了 32 次重试，平均每个任务调用 1.21 次。最终仍有 11 个答案不是合法标签，31.3% 的支出花在重试上。算下来，每次成功成本为 $0.000157，高于 Haiku 的 $0.000138。

qwen3.8-flash 有 19.8% 的支出用于重试，P95 延迟达到 6.7 秒。重试既增加费用，也可能拖长用户等待。

mistral-large-4 更极端：150 个任务产生 106 次重试，重试占支出 44.6%，正确率只有 63.3%，每次成功成本却达到 $0.002274，是表中最贵的一项。

这里还要区分两类失败：返回了合法标签却选错，以及根本没按标签格式回答。原文只在后一种情况下重试，所以重试能修补输出格式，不能自动纠正分类判断。

我的判断

我认同作者把正确率、重试成本和替换风险放在一起考虑。相比按 Token 单价排序，这种方法更贴近实际交付；相比只设一条及格线，它也回答了维护者更关心的问题：换掉现有模型，会不会退步太多？

但 Terra 的结论有明确前提：这组样本、这份提示词、这套标签，以及允许落后 5 个百分点的标准。150 条数据不足以保证每个标签都有充分覆盖，也不能据此排出通用模型榜单。

标签本身也存在边界问题。对于「银行卡送达要多久」，Terra 返回 card_delivery_estimate，数据标注却是 card_arrival；对于「银行卡什么时候到」，两者又反过来。这两个答案从句意上都能解释得通。没有更清楚的标签定义，部分错误衡量的可能是模型与标注习惯是否一致。

作者给出了配对检验结论，但正文没有展开具体计算方法；正式替换前，应检查其公开的提示词、样本和重跑脚本。价格也会变化，页面注明按月变化并记录复查日期。文末还在推广作者自己的评测服务，因此应把实验结果与服务宣传分开看。

能拿来做什么

• 做客服消息或工单分类时，先写清标签定义，尤其检查容易混淆的类别，再用自己的输入与预期结果评估模型。
• 在 Node 调用层记录每次请求费用、重试次数、最终格式是否合法以及答案是否正确，用总费用除以成功任务数比较成本。
• 替换现有模型前，分别确定最低正确率和可接受的退步幅度，并让候选模型回答同一批题，保留逐条输赢记录。
• 可以按作者提供的方式导入 10–100 组输入与预期结果，加入当前模型做初筛；该服务早期免费，调用仍由用户自己的 OpenRouter key 付费。小样本适合发现问题，不能直接当作上线保证。