用确定性代码削减模型调用成本
AWS 建议逐步判断生成式 AI 工作流是否需要调用模型。规则明确的步骤交给代码,需要判断时可采用受约束的模型调用,或在 Bedrock 上选择与任务匹配的模型。
AI 深度解读
给 AI 客服加一个「判断请求该去哪」的步骤,很容易顺手再调一次模型。可请求体缺字段、用户点了重置密码、退款金额超过权限上限,这几件事都有现成的判断依据。每次都问模型,调用费会跟着流量涨,串行等待也会叠加。
AWS ML Blog 的这篇文章把选型问题往前推了一步。先看这一步能不能用代码完成,再看是否只需从几个固定选项里选一个,最后才给摘要、拟回复这类开放任务挑模型。对前端和全栈开发者来说,这套判断可以直接用来审查现有工作流里的每一次模型调用。
哪些模型调用可以直接删掉
原文给了三个依次检查的问题。第一,格式、JSON Schema、精确关键词或数值范围能不能判定这一步是否通过?能判定就交给代码,只能覆盖一部分就让规则先处理那一部分。第二,能不能让模型只在开发时起草一次规则,比如写个正则或 JSON Schema?能的话,人工审查、拿正反例跑一遍,再提交到仓库。第三,剩下的任务是不是只需要从固定列表里选一项?是就做受限判定。三个问题都答不上来,再让模型处理开放任务。
判断规则能否落地,一个实用办法是先写验收条件。比如「请求体必须带 message,且值为字符串」可以直接写成校验。但「从一段抱怨里判断客户最希望解决什么」,往往得结合上下文。这里还有个容易混淆的地方:把 temperature 设为 0 可以降低输出变化的概率,仍无法保证同一输入每次得到相同结果。Amazon Bedrock 的模型评估和 Amazon Bedrock Guardrails 能帮助衡量和约束相关风险,确定的验收条件依然可以直接用代码执行。
作者指出,串行链路上的每次模型调用可能增加数百毫秒,输出波动也会给测试和审计增加工作量。原文没有给出具体工作流的延迟分布,这个量级可以用来理解开销如何累加,项目里的尾延迟还得自己量。
规则先跑,拿不准的请求再交给模型
在 AWS 上,Amazon API Gateway(REST API)可以先做请求校验,AWS Step Functions 的 Choice 负责在调用模型前分支,更复杂的校验放进 AWS Lambda。下面这段 Choice 用 JSONata 把包含退款或重置密码关键词的请求分到对应流程,其余交给受限判定。
"KeywordFastPath": {
"Type": "Choice",
"QueryLanguage": "JSONata",
"Choices": [
{
"Condition": "{% $contains($states.input.message, /refund/i) %}",
"Next": "RefundFlow"
},
{
"Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
"Next": "PasswordResetFlow"
}
],
"Default": "ConstrainedDecisionCall"
}
看 Default 这一行。规则没给出答案,请求才进入 ConstrainedDecisionCall。同时,RefundFlow 在这里是一个路由目的地。退款额度和操作权限仍由业务规则校验。
原文说,简单关键词匹配可以做到个位数毫秒或更低,并举了一个算例:如果规则能处理 95% 的请求,每 20 次里就只有 1 次进入模型。这是按命中率算出来的调用比例。95% 并非线上实测,省下的钱还取决于原链路的调用次数、模型价格以及规则误判带来的返工。
只需要选队列时,把答案限制在枚举里
客服分流需要的是一个能交给程序处理的队列名。Amazon Bedrock 的结构化输出可以把答案限制在 billing、technical、account、other 四个队列,加上触发升级的 unsure。原文的 Schema 把 queue 设为必填,并按 Bedrock 的要求给每个对象设置 additionalProperties: false。枚举解决的是格式问题。模型返回 billing 时,分错队列的可能性依然存在,unsure 也只是模型对自身判断的表达。数值上下限、长度限制和业务权限继续在代码里检查。
原文还列了三条路。用 Amazon Bedrock 的嵌入模型找最相近的已标注样本,以相似度决定是否升级。用实验性的开源模型 Strands Decider 做固定选项判定或按评分标准打分,它采用 Apache License 2.0,可自行部署到 Amazon SageMaker AI 端点。手头已有标注训练数据,也可以在 Amazon SageMaker AI 上训练分类器,拿类别概率做分流。
Strands Decider 的 README 报告,在短文本分类任务中,置信度达到 0.9 或以上的回答约有 95% 正确。这个数字来自项目 README,原文没有给出作者团队复测的结果,也没有把四种方案放到同一套数据上比较。选哪一种,都要用自己的标注样本检查升级信号。相似度达到某个值时有多少单会分错,比直接照搬一个阈值更有用。
真要调用模型,就让评测决定用多大的
摘要、拟回复、理解自由文本这类任务,先定四道门槛再比模型。质量下限用有正确答案或明确评分标准的基准评测集来量,成本上限按单次请求或每个成功结果来算,延迟用 p95 或 p99 约束,还要考虑数据驻留等合规要求。新模型在通用榜单上更强,仍要过当前任务的门槛。
Amazon Bedrock 用一个 API 接入多种模型。Amazon Bedrock Intelligent Prompt Routing 可以在受支持的模型家族内做请求路由,Amazon Bedrock Model Distillation 则把大模型的能力迁移给针对当前用例的小模型。原文建议把模型选择当成可测试、可回滚的配置,每项任务维护自己的评测集,在 CI 跑质量门槛,用配置开关切换候选模型。规则用已知正确结果校验,开放输出才考虑用模型评分。
我的判断
我赞成先检查「是否需要调用」,再比「调用哪个更便宜」。把整条链路换成更便宜的小模型,能降低单次调用成本,适合确实需要语义判断的步骤。把字段校验、请求整形和权限判断收回代码,则直接去掉了远程调用,也让这些行为更容易复测。原文没有给出迁移前后的账单、端到端延迟或误判对照数据,「通常收益最大」是作者的工程经验。
我会把关键词快路径的适用范围收紧到信号明确的入口。比如用户点了「重置密码」按钮,前端就可以随请求传一个明确的操作类型。自由文本里的 refund 则可能出现在「我不想退款」里,也可能和第二个诉求同时出现。作者建议把部分规则命中的请求抽样送模型跑影子评估,即不影响用户实际走的流程。两边有分歧时,拿人工标签或真实处理结果复核,再决定是收紧规则,还是把这类输入交给受限判定。
能拿来做什么
- 挑一条调用量高的 AI 工作流,把每步标成确定性代码、受限判定或开放模型调用。迁移前后记录每个成功结果的成本、端到端
p95和返工率。 - 在 Node 服务里先校验请求体的必填字段、类型和数值范围。前端能通过按钮或表单明确表达的意图,用枚举传给后端,并由后端校验后分流。
- 给客服队列保留
unsure,用标注过的历史工单检查分错率和升级率。评测集放进 CI,模型 ID 放进可回滚配置,达到质量和延迟门槛后再切默认模型。