Vercel网关接入两款Baseten决策模型

Baseten 的 Mammoth-1 和 Elephant-1 接入了 Vercel AI Gateway，原文给出的免费期为一周，截至 10 月 27 日。它们面向文本分类、请求路由和内容评分：输入一段文本，让模型按你定义的问题给出判断。

对程序员来说，重点是把这些判断接进业务流程。同一段输入可以同时判断「交给哪个团队」「是否要求退款」「紧急程度多高」，应用再根据概率决定自动处理还是交给人工。但原文没有提供业务实测，榜单名次也需要结合具体任务看。

这两个模型适合做什么判断

Mammoth-1 是较大的 27B 模型，Elephant-1 是较小的 9B 模型，两者都支持 16k-token 上下文窗口，返回选项、概率和分数。

它们被称为决策模型（decision models）。可以把它理解为：你提供待判断的材料，并规定问题和答案形式，模型负责作答，应用代码负责执行后续动作。

原文举了三类问题：

• 用 Choice 问题选择负责处理工单的支持团队。
• 用 Boolean 问题判断客户是否提出退款请求。
• 用 Score 问题评估工单的紧急程度。

这三类问题可以放进同一次请求，共享同一段输入。对于需要多个判断结果的业务，这提供了一个集中描述判断任务的接口。原文没有给出延迟或费用对照，不能据此认定一次询问多个问题一定更快、更便宜。

排名方面，Mammoth-1 在 Jev Decision Index 位列第 1，Elephant-1 在 Artificial Analysis Decision Index 并列第 1。两项成绩来自不同榜单，不能直接拿来比较这两个模型谁更强。

接入代码很短，自动执行的边界要自己定

通过 AI Gateway 调用时，模型名分别是 baseten/mammoth-1 和 baseten/elephant-1。

下面这段代码判断客户是否在申请退款：

import { experimental_decide as decide } from 'ai';

const result = await decide({
  model: 'baseten/mammoth-1',
  state: 'I was charged twice. Please refund the duplicate.',
  questions: {
    refund: {
      type: 'boolean',
      instructions: 'Is the customer asking for a refund?',
    },
  },
});

console.log(result.answers.refund);

要看清 type: 'boolean' 和 instructions：前者规定答案类型，后者定义判断标准。state 是待分析文本，questions.refund 则给这个判断起了一个业务可引用的名字。

另外，导入的 API 名是 experimental_decide。原文没有注明 ai 包版本，也没有展示 result.answers.refund 的完整结构，接入时不能自行假定它只是一个普通布尔值。

模型提供判断，应用决定什么情况下可以自动行动。

原文明确把概率阈值交给应用：达到阈值就自动处理，否则送审。这里的「识别出退款请求」也只是分类结果，不能直接等同于「符合退款条件」。

AI Gateway 还提供统一 API，以及用量和成本追踪。决策调用会出现在日志中，并与其他模型请求一起纳入预算统计。已有网关接入的团队，可以把这类调用放进现有的观测和预算流程。

我的判断

这个接口方向有价值：分类、路由、评分都是明确且重复的任务，把问题类型写进请求，比让模型自由输出一段解释更便于业务代码使用。

但原文是一则接入公告，没有作者或团队的实测记录，也没有与通用模型、关键词规则或传统分类器的对照数据。27B 与 9B 的规模差异，同样不足以推出具体的速度、价格或准确率结论。

概率尤其要打个问号。原文没说明概率是否经过校准，也没给出阈值选择方法。返回 0.9 的概率，不能直接当作真实业务中有九成把握正确。中文工单、行业术语和含糊表达表现如何，也需要自己验证。

对于「命中固定字段就分流」这类简单任务，规则通常更容易检查和维护；当用户表达多样、需要理解语义时，这类模型才更值得进入候选方案。免费窗口适合做验证，但原文没有交代免费结束后的价格，也没有说明免费额度和限流条件。

能拿来做什么

• 在 Node 工单服务中，选一批已有人工标签的文本，同时测试团队归属、退款意图和紧急程度，分别统计各项判断的错误。
• 把模型结果用于客服后台的预分类和排序，先让人工确认；积累真实样本后，再为不同任务设置自动处理阈值。
• 用同一批业务样本比较 Mammoth-1、Elephant-1 和现有规则，依据准确率及实际调用表现选型，不用参数规模或榜单名次代替验证。
• 将决策调用纳入 AI Gateway 的日志和预算检查，并在免费期结束前确认后续价格与使用限制。