谷歌推出多模态决策专用API
谷歌发布由Gemini Decision模型驱动的Gemini Decisions API,主打快速、经过校准的多模态决策。素材未披露具体评测、定价和接入限制。
AI 深度解读
把请求交给哪个模型、内容是否违规、下一步调用哪个工具,这些任务往往只需要从有限选项里做决定。Google 发布的 Gemini Decisions API,想把这类判断从生成式对话中单独拿出来:共享一份输入,同时回答多个问题,直接返回选项概率。
它的吸引力是延迟和计费方式,但也有两处容易误读:支持 256K tokens,不代表长输入仍有同样速度;一次最多问 1,000 个问题,也不等于这个规模已经得到性能验证。
只需要选答案,为什么还要逐字生成
普通生成式调用即使只回答一个分类结果,也要经过逐 token 解码。Gemini Decisions API 使用专门的 Gemini Decision 1,模型标识为 gemini-decision-1,在一次前向计算中为候选项打分。
这里的「闭集决策」很好理解:答案范围由调用方提前划定,模型负责判断哪个选项更合适。它适合工具选择、策略检查、模型路由和上下文质量评分,不能直接替代开放式写作或代码生成。
当业务真正需要的是一个选择,生成一段回答可能只是额外开销。
原文给出的模型计算中位延迟为 50-100 ms,端到端延迟为 150-250 ms。不过,这组性能描述对应最长 16K tokens 的上下文,并称每次请求从 1 个问题增加到 100 个问题时,延迟基本持平。接口容量则是最多 256K tokens、1,000 个独立问题。这两组边界必须分开看。
Google 还称,它在覆盖 Agent 路由、推理、排序和多模态理解的基准中领先,并且校准误差最低。校准指的是:模型给出高置信度时,实际判断也应该相应更可靠。原文没有展开数据集、误差数值和测试配置,读者暂时无法据此复核领先幅度。
三种判断,共享同一份多模态输入
接口支持文本、图片、音频、视频和 PDF,也允许把不同模态放进同一份输入。例如,同时提供通话录音和账户资料,或者扫描件和现场照片。图片、视频还可以调整分辨率,在视觉细节与 token 成本之间取舍。
判断类型有三种:
noul用于是非判断,估计条件成立的概率,还可以补充 true 和 false 的描述标准。choice支持 2 到 255 个选项,返回获胜项和所有候选项的归一化概率。score使用从 0 开始的有序评分标准,返回连续加权分数及各等级概率。
下面这段原始示例解决的是:让一张茶水间照片和一条文字说明,同时服务于溢出检测、清理动作选择和严重程度评分。
from google import genai
client = genai.Client(http_options={"api_version": "v1beta"})
result = client.decisions.create(
model="gemini-decision-1",
input=[{
"type": "image",
"uri": "https://storage.googleapis.com/generativeai-downloads/images/spill.jpg",
"mime_type": "image/jpeg",
},
{
"type": "text",
"text": "Breakroom counter check before the 9 AM client meeting.",
},
],
questions={
"has_spill": {
"type": "noul",
"instructions": "Is there an uncleaned liquid spill on the counter?",
},
"next_action": {
"type": "choice",
"instructions": "Which cleanup action fits the scene?",
"criteria": {
"wipe_with_cloth": "Small counter spill with a cloth or towel already nearby.",
"dispatch_janitorial": "Large floor hazard, broken glass, or active leak.",
"ready_for_meeting": "Counter is clean and ready.",
},
},
"severity": {
"type": "score",
"instructions": "Rate the severity of the counter mess.",
"criteria": [
"Clean and ready.",
"Minor localized spill.",
"Major spill or safety hazard.",
],
},
},
)
要留意 questions 这一行:三个问题复用同一个 input;而 criteria 决定了选项边界和评分含义。原文只展示了请求,没有展示响应结构,不能据此补出置信度字段的读取代码。
输入沿用 Interactions API 的 Content block 格式。每个答案还附带 0 到 1 的置信度,业务代码可以据此把模糊案例交给备用模型或人工审核。
但阈值仍需自己验证。模型返回概率,并不会自动替团队决定什么程度的误判可以接受。
省钱靠复用输入,价值要看完整链路
定价是每 1M 输入 tokens 收费 $0.10,输出 tokens 收费 $0。共享输入每次请求只计费一次,各问题另增加自身的指令和标准 tokens。原文还称,没有可变的 thinking-token 账单,也不另收音频转写和 OCR 费用;Google AI Studio 提供 API 免费额度用于原型开发。
所以,问 100 个问题并非与问 1 个问题完全同价,只是不用重复支付共享材料的输入费用。
在共同基准套件上,Google 称 Decisions API 比使用 Interactions API 的 Gemini 3.5 Flash-Lite 便宜近 5 倍。这是特定测试范围内的比较,不能直接推成所有业务都会省下同样比例。
内部案例更能说明它的位置。Gemini Notebook 用它选择模型档位和思考级别,称日常查询延迟最多降低 40%;Stitch 的 rapid canvas 实验用它支持数秒内生成可操作线框流程,以及通过语音或点击快速修改;CC 从超过 200 个选项中选择 emoji;Google Search 则将它用于 MCP 工具的安全层,检测对抗行为和内容。
这些是 Google 披露的应用案例,原文没有给出各自完整的对照实验。尤其 Stitch 的体验,不能理解成 Decisions API 单独生成了整个界面,它在产品链路里承担哪些具体决策,文章没有说清。
我的判断
我认可把有界判断独立出来的方向。对日常 AI 编程和 Agent 系统来说,路由、筛选、审核经常出现在主任务之前,少一次生成式调用,确实可能减少等待和费用。
但选项设计会成为新的工程工作。候选项互相重叠、评分等级含糊,或者真实请求根本不属于任何候选项,都会让返回结果难以使用。一次请求能容纳多个独立问题,也不能据此推断它支持问题之间的顺序依赖。
与规则判断相比,它更适合需要理解语义和多模态材料的情况;格式校验、明确权限和固定条件,继续用确定性代码通常更直接。与自训分类器相比,它省去了训练流程,但长期稳定性、特定领域准确率和规模成本,原文没有提供对照。
概率值得接入业务流程,但不应直接充当放行动作的依据。
特别是 MCP 工具安全检查,原文只有「高效」一类描述,没有误报率、漏报率和攻击覆盖数据。把它作为补充检测层有依据,把它当作完整安全保证则证据不足。
能拿来做什么
- 在 Node 服务的 AI 请求入口,先挑一个候选范围明确的模型路由任务,比较总延迟、路由错误和备用模型调用次数,再决定是否扩大使用。
- 对同一份截图、PDF 或用户提交材料,合并多个独立检查项,分别定义清晰的
criteria,验证复用输入后实际节省了多少费用。 - 用历史请求检查置信度与正确率是否匹配,再设定转人工或备用模型的阈值,尤其保留模糊请求和候选项之外的案例。
- 接入前先核对可用入口。原文提供 Python、JavaScript、REST 指南及
google-genaiSDK 路线;OpenRouter、LangChain、Vercel、LiteLLM、Pydantic AI、Pipecat、LiveKit、OpenCode 的集成正在推出,Gemini in Google Cloud 支持则仍是即将提供。