批量分类能否替代大模型逐条生成
文章测试 Gemini Decision 1:模型直接输出布尔值、分数或类别,单次请求最多可处理 1000 个问题。作者测得单问约 180 毫秒、百问约 250 毫秒,并介绍其输入计费且无输出 token 费用的模式。
AI 深度解读
让大模型判断「这条消息该交给哪个团队」,可能把简单任务做得太重了。作者测试了 Gemini Decision 1:它不逐个生成文本 token,而是读取输入后直接给出结构化判断。它适合承担 AI 工作流里的快速检查,但前提是问题足够具体。
作者用自己的历史编程会话和公开数据集,整理了覆盖 24 类任务的 800 个场景。最有价值的发现不是某项准确率有多高,而是同一个路由任务,仅仅改了提问方式,准确率就从 0.72 升到了 0.88。
为什么一次问很多小问题,反而更划算
Gemini Decision 1 被称为「System 1」模型。可以把它理解成专门做快速判别的组件:读取输入,然后返回结构化结果,不需要组织一段自然语言回答。原文声称支持三种结构化统计响应,但提供的内容只列出了类别判断,也就是分类,另外两种没有交代。
不生成文本,改变了它的延迟和计费方式。
按原文数据,一次请求最多可以问 1,000 个问题。作者实测,问 1 个问题约耗时 180ms,同时问 100 个问题约耗时 250ms。增加检查项会增加延迟,但这组测试里,增长幅度远小于问题数量的增长。
这适合把一套检查标准放进同一次请求。例如,分别判断请求是否涉及认证、是否涉及计费、是否只是样式调整,再由应用代码组合结果。模型负责识别,业务代码负责执行规则。
原文给出的价格是每百万输入 token $0.10,输出 token 费用为 $0;Google 免费层每天最多提供 10,000 次免费请求。这些是原文记录的价格和额度,不能直接当作上线时仍然有效的承诺。输出免费也不代表整个请求没有成本,输入长度仍然影响费用。
路由准确率提高,靠的是把问题拆清楚
模型路由决定一个请求该交给轻量模型,还是交给推理能力更强的大模型。目的很直接:简单任务少花钱、少等待,复杂任务保留足够能力。
但如果路由本身也要调用一次完整 LLM,就得先付出额外成本和延迟。省下来的资源,必须覆盖这次预判的开销。
作者最初把 Gemini Decision 1 当成普通聊天模型,直接问:根据提示词内容,这个请求应该交给小模型还是大模型?结果得分为 0.72,作者认为不够可靠。
后来,他把这个宽泛问题拆成同一次请求里的四五个具体问题:是否涉及认证或计费?是否只是样式调整或文档更新?准确率随之升到 0.88。
让模型识别具体特征,再由代码组合决策,比直接要求它做宽泛判断更可靠。
这里也要留一个问号:原文把 0.72 描述为「仅略好于抛硬币」,却没有交代类别比例、评分细节或基线,读者无法验证这个评价。能确认的是作者报告了明显提升,不能据此认定这套问法在所有路由任务上都有效。
哪些任务适合它,哪些任务交给代码更好
作者从 24 类任务中挑了五个例子,差异很大。
客服团队分流接近 100% 准确,平均每次请求约 230ms,每 10,000 次请求约 $0.34。它的目标相对明确:根据咨询内容选择对应团队,属于分类模型容易发挥作用的场景。
提示词注入(prompt injection)检测达到 99.7% 准确率。这个数字看起来很强,但原文没有给出攻击样本占比、漏报率或误报率。安全检测尤其关心漏掉了哪些攻击,只看整体准确率,还不足以判断它能否承担安全边界。
判断对话中是否存在值得长期记住的规则、指令或事实,准确率为 88%。作者把它视为记忆更新的过滤器:先快速筛出候选,再决定是否继续处理,避免每轮对话都调用完整 LLM 检查。
另外两个例子划出了边界。把大代码文件切成便于检索的片段时,模型表现不佳,确定性代码更简单、效果也更好。预测用户是否即将介入并纠正 agent,准确率只有 46%,低于抛硬币。后者需要理解用户预期和复杂上下文,单次快速判别没有解决好。
这些结果支持一个方向:问题越具体、标准越明确,决策模型越可能有用。宽泛而主观的判断,应留给完整语言模型;简单代码已经能解决的任务,继续用代码。
我的判断
我认同作者对任务边界的划分。对前端和全栈开发者,最值得借鉴的是把 AI 工作流拆开:规则处理明确条件,决策模型识别内容特征,完整 LLM 处理复杂判断。
但这仍是一篇探索记录。作者使用自己的会话和公开数据集,没有给出各类别样本量、标注标准、重复测试波动,也没有提供完整 LLM 或传统分类器的系统对照。因此,「快、便宜、准确」需要分别验证,不能拿几个高分场景替整个方案背书。
与关键词规则相比,它可能更适合需要理解语义的分类;与完整 LLM 相比,它减少了生成开销,却没有证明所有任务都能保持同等质量。作者也明确把它称为探索的 Part 1,实际项目集成后的效果仍待后续结果。
能拿来做什么
- 在 AI 编程助手里,把「是否涉及认证或计费」「是否只是样式或文档调整」分别判定,再用明确规则选择模型,并记录路由错误造成的返工。
- 在 Node 服务中接入内容分类前,用自己的请求样本比较规则、决策模型和完整 LLM,同时测量准确率、延迟与费用。
- 给对话记忆增加候选过滤步骤,但要分别检查漏存重要指令和误存临时信息的情况,不能只看总体准确率。
- 遇到代码文件切分这类任务,先验证确定性代码能否满足需求;若试用提示词注入检测,则单独评估漏报和误报。