小模型先答,校验不过再升级
文章借 FrugalGPT 的级联思路提出,让低成本模型先处理请求,由评分函数判断是否接受结果,再将未通过的请求交给更强的模型。
AI 深度解读
给 AI 功能固定模型版本之后,还有一个决定要做:每条请求都用同一个模型吗?作者建议先测清楚哪些请求小模型已经能处理,再把大模型留给难题。两项研究给出了不同的做法,一种先看小模型答得怎么样,另一种在生成前就选好模型。对维护 AI 功能的前端和全栈开发者来说,选哪一种,取决于你能多便宜地判断结果可不可用,以及用户愿意等多久。
同样的 token 用量,单价能差 40 倍
按原文引用的 Anthropic 报价,以每百万 token(MTok)计,Claude Haiku 5.5 在提示词不超过 100,000 tokens 时,输入和输出分别是 $0.10 和 $0.50。Claude Opus 5.5 则分别是 $4 和 $20,两项单价都相差 40 倍。
这种价差早就出现过。2023 年,FrugalGPT 论文比较了 12 个商业 LLM API,发现费用可相差两个数量级。论文举的例子是,输入 1,000 万 tokens,GPT-4 要 $30,Textsynth 托管的 GPT-J 只要 $0.2。
40 倍是单价差。实际能省多少,还要算上两档模型各自用掉的 token、验收开销,以及升级请求已经花掉的小模型费用。作者认为多数生产请求容易处理,但原文没有给出他们团队的流量数据。这一比例需要用自己的业务样本测。
先生成再验收,还是生成前就选模型?
FrugalGPT 用的是级联(cascade)。它先调用最便宜的模型,把请求和回答一起交给一个小型 DistilBERT 回归模型打分。分数过线就采纳,低于或等于阈值就换下一档。这个分数来自独立的评分模型,评估的是这条回答答对的可能性。
在金融新闻数据集 HEADLINES 上,顺序是 GPT-J → J1-L → GPT-4。GPT-J 得分超过 0.96 就采纳,否则调用 J1-L。J1-L 得分超过 0.37 就采纳,否则调用 GPT-4。论文报告,在预算只有单用 GPT-4 的五分之一时,成本下降 80%,准确率还高出 1.5%。约 6% 的 HEADLINES 样本上,GPT-4 答错了,较便宜的模型反而答对了。两档模型会在不同题上出错,评分器如果能识别出哪些回答已经足够好,级联就有机会同时改善成本和准确率。
论文还报告,达到最佳单模型表现时,HEADLINES、OVERRULING 和 COQA 分别节省了 98.3%、73.3% 和 59.2% 的成本。论文摘要给出的结论是,最高可节省约 98%,或者在相同成本下把相对 GPT-4 的准确率提高 4%。
2024 年的 RouteLLM 把决策挪到生成前。路由器只看请求,在强弱两档中选一个,每条请求只调用一次生成模型。在 GPT-4 和 Mixtral 8x7B 之间路由时,LMSYS 报告,在达到 GPT-4 表现的 95% 时,MT Bench、MMLU 和 GSM8K 的成本分别下降超过 85%、45% 和 35%。加入由 LLM 裁判生成的补充训练数据后,MT Bench 上最好的路由器只把 14% 的请求交给 GPT-4,就达到了这个表现。实验里开销最高的路由器,额外成本也不超过 GPT-4 生成成本的 0.4%。
阈值要用业务样本定
级联能看到实际回答,适合有低成本验收手段的任务,比如检查 JSON 是否符合 schema、运行测试,或让独立校验器核对结果。一旦升级,请求就得等多轮调用。前置路由省掉了这段串行等待,但它只能根据输入判断难度,容易漏掉那些看着简单、实际容易答错的请求。
RouteLLM 的实验展示了数据不匹配的后果。只用 Chatbot Arena 偏好数据训练时,路由器在 MMLU 上的表现接近随机。研究者认为,多数 MMLU 问题超出了训练数据的分布。加入约 1,500 条来自 MMLU 验证集、带标准标签的样本后,表现才明显改善。FrugalGPT 同样要求训练用的标注样本与测试请求来自相同或相近的分布。0.96 和 0.37 是特定实验里学出来的阈值,搬到自己的业务里需要重新定。
我的判断
我更看重原文提出的验收条件。比如在 Node 服务里从工单提取字段,schema 能查字段缺失和类型错误,但一条填错了订单号的 JSON 照样可能通过。能把字段值和工单原文核对,级联才多了一道有实际意义的判断。对于在生成前就能识别的固定任务类型,可以先用规则分流。原文没有提供规则路由和学习型路由在同一业务流量上的对照,哪种更划算要靠实际评估。
两项研究给出了各自基准上的实验结果。先记日志、按档评测、调阈值,则是作者给出的落地经验,原文没有提供生产环境的对照数据。低流量团队要把标注和维护时间算进去。难题占比高时,级联会频繁多跑一轮。高风险输出还要单独考虑漏升级的代价,这些情况下,直接用大模型是合理的取舍。
能拿来做什么
- 先在 Node 服务里记录每条调用的模型 ID、输入和输出 token 数、成本、延迟,以及结果是被采纳、被修改、被重试还是被点踩。
- 用脱敏的真实请求做分档评测集,给样本标出正确答案或验收标准,让大小模型跑同一批输入。对结构化输出,可以把 schema 校验失败或字段与原文不符设成升级条件。
- 在留出的样本上调阈值,同时比较质量和成本。上线后分档看质量和成本,并持续跟踪升级比例和升级请求的 p95 延迟。换模型、上线新功能或流量构成变化时,重跑评测。