基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 17:27

小模型先答,校验不过再升级

dev.to · AI#模型路由#推理成本#输出校验
Editor brief · 编辑速览

文章借 FrugalGPT 的级联思路提出,让低成本模型先处理请求,由评分函数判断是否接受结果,再将未通过的请求交给更强的模型。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 AI 功能固定模型版本之后,还有一个决定要做:每条请求都用同一个模型吗?作者建议先测清楚哪些请求小模型已经能处理,再把大模型留给难题。两项研究给出了不同的做法,一种先看小模型答得怎么样,另一种在生成前就选好模型。对维护 AI 功能的前端和全栈开发者来说,选哪一种,取决于你能多便宜地判断结果可不可用,以及用户愿意等多久。

同样的 token 用量,单价能差 40 倍

按原文引用的 Anthropic 报价,以每百万 token(MTok)计,Claude Haiku 5.5 在提示词不超过 100,000 tokens 时,输入和输出分别是 $0.10 和 $0.50。Claude Opus 5.5 则分别是 $4 和 $20,两项单价都相差 40 倍。

这种价差早就出现过。2023 年,FrugalGPT 论文比较了 12 个商业 LLM API,发现费用可相差两个数量级。论文举的例子是,输入 1,000 万 tokens,GPT-4 要 $30,Textsynth 托管的 GPT-J 只要 $0.2。

40 倍是单价差。实际能省多少,还要算上两档模型各自用掉的 token、验收开销,以及升级请求已经花掉的小模型费用。作者认为多数生产请求容易处理,但原文没有给出他们团队的流量数据。这一比例需要用自己的业务样本测。

先生成再验收,还是生成前就选模型?

FrugalGPT 用的是级联(cascade)。它先调用最便宜的模型,把请求和回答一起交给一个小型 DistilBERT 回归模型打分。分数过线就采纳,低于或等于阈值就换下一档。这个分数来自独立的评分模型,评估的是这条回答答对的可能性。

在金融新闻数据集 HEADLINES 上,顺序是 GPT-J → J1-L → GPT-4。GPT-J 得分超过 0.96 就采纳,否则调用 J1-L。J1-L 得分超过 0.37 就采纳,否则调用 GPT-4。论文报告,在预算只有单用 GPT-4 的五分之一时,成本下降 80%,准确率还高出 1.5%。约 6% 的 HEADLINES 样本上,GPT-4 答错了,较便宜的模型反而答对了。两档模型会在不同题上出错,评分器如果能识别出哪些回答已经足够好,级联就有机会同时改善成本和准确率。

论文还报告,达到最佳单模型表现时,HEADLINES、OVERRULING 和 COQA 分别节省了 98.3%、73.3% 和 59.2% 的成本。论文摘要给出的结论是,最高可节省约 98%,或者在相同成本下把相对 GPT-4 的准确率提高 4%。

2024 年的 RouteLLM 把决策挪到生成前。路由器只看请求,在强弱两档中选一个,每条请求只调用一次生成模型。在 GPT-4 和 Mixtral 8x7B 之间路由时,LMSYS 报告,在达到 GPT-4 表现的 95% 时,MT Bench、MMLU 和 GSM8K 的成本分别下降超过 85%、45% 和 35%。加入由 LLM 裁判生成的补充训练数据后,MT Bench 上最好的路由器只把 14% 的请求交给 GPT-4,就达到了这个表现。实验里开销最高的路由器,额外成本也不超过 GPT-4 生成成本的 0.4%。

阈值要用业务样本定

级联能看到实际回答,适合有低成本验收手段的任务,比如检查 JSON 是否符合 schema、运行测试,或让独立校验器核对结果。一旦升级,请求就得等多轮调用。前置路由省掉了这段串行等待,但它只能根据输入判断难度,容易漏掉那些看着简单、实际容易答错的请求。

RouteLLM 的实验展示了数据不匹配的后果。只用 Chatbot Arena 偏好数据训练时,路由器在 MMLU 上的表现接近随机。研究者认为,多数 MMLU 问题超出了训练数据的分布。加入约 1,500 条来自 MMLU 验证集、带标准标签的样本后,表现才明显改善。FrugalGPT 同样要求训练用的标注样本与测试请求来自相同或相近的分布。0.96 和 0.37 是特定实验里学出来的阈值,搬到自己的业务里需要重新定。

我的判断

我更看重原文提出的验收条件。比如在 Node 服务里从工单提取字段,schema 能查字段缺失和类型错误,但一条填错了订单号的 JSON 照样可能通过。能把字段值和工单原文核对,级联才多了一道有实际意义的判断。对于在生成前就能识别的固定任务类型,可以先用规则分流。原文没有提供规则路由和学习型路由在同一业务流量上的对照,哪种更划算要靠实际评估。

两项研究给出了各自基准上的实验结果。先记日志、按档评测、调阈值,则是作者给出的落地经验,原文没有提供生产环境的对照数据。低流量团队要把标注和维护时间算进去。难题占比高时,级联会频繁多跑一轮。高风险输出还要单独考虑漏升级的代价,这些情况下,直接用大模型是合理的取舍。

能拿来做什么

  • 先在 Node 服务里记录每条调用的模型 ID、输入和输出 token 数、成本、延迟,以及结果是被采纳、被修改、被重试还是被点踩。
  • 用脱敏的真实请求做分档评测集,给样本标出正确答案或验收标准,让大小模型跑同一批输入。对结构化输出,可以把 schema 校验失败或字段与原文不符设成升级条件。
  • 在留出的样本上调阈值,同时比较质量和成本。上线后分档看质量和成本,并持续跟踪升级比例和升级请求的 p95 延迟。换模型、上线新功能或流量构成变化时,重跑评测。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
支付去重之后,智能体为何仍会重付
下一篇
怎样测出并行编程智能体的隐性冲突

资讯速览

dev.to · AI · 2026-11-18 17:27

AI 评分 8.0 / 10

相关标签

#模型路由#推理成本#输出校验

继续阅读

  • 让多个 AI 共用一份可核验的执行记录
  • 支付去重之后,智能体为何仍会重付
  • 怎样测出并行编程智能体的隐性冲突
  • 给并行编程智能体设在制品上限
  • 本地 AWS 模拟与 AI 工作流工具速览