Sarvam以统一接口托管八款开放模型
Sarvam Token Factory向公众开放,通过印度GPU集群提供八款开放模型的推理服务,列举模型包括Sarvam 105B、GLM 5.3及DeepSeek V4.1 Flash。服务采用统一的OpenAI兼容API。
AI 深度解读
Sarvam Token Factory 把自有模型和开放权重模型放在印度 GPU 集群上,通过一套 OpenAI-compatible API 提供推理服务。它卖的除了模型选择,还有印度本地访问延迟,以及缓存、调度带来的服务效率。
对国内程序员,这条消息更适合作为推理平台的选型案例:为什么同一个模型换个平台,首字延迟和吞吐就能差很多?作者给出了具体数据,也留下了关键限制:性能测试全部由 Sarvam 自报,孟买的访问优势不能直接套到国内。
同一套 API,接入方式却分两种
Sarvam Token Factory 是托管推理平台,早先以 Sarvam Inference 的名字在 Epoch 活动预览。首发列出 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。
硬件使用印度的 NVIDIA B200 集群,企业还可选择本地部署。Sarvam 105B 的规格是总参数 105B、激活参数 9B、上下文 128K。
不过,模型出现在名单里,不代表开通账号就能按量调用。文档把服务分成共享端点和预置吞吐量(Provisioned Throughput):后者需要按组织启用,涉及 DeepSeek V4 Pro、Kimi K3.1 Pro,以及文档另外列出的 Qwen 3.8 27B、Clef、EmbeddingGemma 2。
首发名单和文档覆盖范围并不完全一致。选型时要核实具体模型的开通条件。
性能提升,主要从缓存和调度里找
平台围绕共享缓存搭了三层:控制平面负责识别缓存的路由、准入控制和资源规划;推理引擎把预填充(prefill)与解码(decode)放在独立 GPU 池;缓存由 GPU 显存和基于 Mooncake 的共享 G3 存储组成。
预填充负责处理输入,解码负责逐个生成输出。两者资源需求不同,拆开后可以分别调度;重复输入若已在缓存中,也能减少再次计算。
原文最有分量的数据来自这里:DeepSeek V4.1 Flash 每天处理超过 450B tokens,其中 95.7% 的提示词 tokens 从缓存提供。GLM 5.3 在相同回放负载下,规划器把预填充 GPU-hours 从 32.3 降到 17.1。
这些收益首先依赖请求能否复用缓存。
Sarvam 105B 则通过 MXFP8 权重和推测解码,把输出吞吐提高约 2.2 倍,每个副本从 2 张 B200 缩到 1 张。Sarvam 声称这些改动没有降低准确率,但原文没有给出评估集和详细结果。
底层组合包括 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer。编排 agent 负责提出实验,每次部署仍由工程师批准。这里能确认的是有人审阅实验部署,不能据此认定系统已实现自主优化闭环。
跑分很亮眼,但长输入并非都占优
首字延迟(TTFT)是从发出请求到收到第一个 token 的时间,输出速度则决定后续文字出现得有多快。两者要分开看。
Sarvam 自报,Sarvam 105B 的首字延迟为 0.2 秒,单用户输出速度为 330 tokens/s。Gemma 4 31B 在孟买、10K 提示词下,达到 0.40 秒和 308 tokens/s,另一家被测供应商为 2.00 秒和 193 tokens/s。
并发测试更能体现调度收益:
- Kimi K3.1 Pro 使用 16 张 B200,在每用户 70 tokens/s 时,每 GPU 吞吐为 6,177 tokens/s,对比 InferenceX 的 3,213,约为 1.9 倍。
- 72 个 agent 会话下,首字延迟中位数为 0.8 秒,InferenceX 为 11.6 秒。
- GLM 5.3 Flash 在 64 个会话下,p99 首字延迟为 3.2 秒,原版 vLLM 和 Dynamo 的对照值为 14.1 秒。
但 DeepSeek V4.1 Flash 提供了反例。孟买 1K 提示词测试中,Sarvam 为 0.51 秒,Together AI、Fireworks AI、DeepInfra 分别为 0.61、1.01、1.08 秒;输入增加到 10K 后,Sarvam 为 0.90 秒,Together AI 反而以 0.71 秒领先,另外两家为 1.55 和 1.75 秒。
输出速度也如此:Sarvam Standard 为 130 tokens/s,Interactive 为 200,Together 为 278,Fireworks 为 193。
部署地点更近,不能保证所有负载都更快。
价格按每百万 tokens、印度卢比计:
| 模型或端点 | 输入 / 输出 |
|---|---|
| Sarvam 105B | ₹10 / ₹25,优惠价 |
| GLM 5.3 | ₹126 / ₹390 |
| GLM 5.3 Flash | ₹13.5 / ₹45 |
| Gemma 4 31B | ₹35 / ₹90 |
| DeepSeek V4.1 Flash 1017 | ₹14 / ₹55,优惠价 |
| DeepSeek Interactive | ₹25 / ₹105 |
优惠持续到 2026 年底,预置吞吐量价格未公开。对照表中,Together 和 Fireworks 的 DeepSeek 价格均为 $0.30 / $1.20;DeepInfra 标价 $0.20 / $0.60,促销价 $0.14 / $0.42。三家的缓存输入价格均列为 $0.006,Sarvam 未披露。
币种、优惠期限、缓存计费口径都不同,光比输入输出单价,还算不出真实请求成本。
我的判断
我更认同这篇对推理工程的展示:模型能力相同,缓存命中、资源规划和并发调度依然能显著改变体验。尤其对带有重复上下文的 agent 请求,这些指标比单次生成速度更有参考价值。
但它仍是厂商自报材料,缺少独立复测。95.7% 的缓存比例能否在一般团队复现,取决于请求内容;原文也没有完整交代各组测试的缓存冷热、资源配置和准确率验证方式。不能把这些结果当成通用排名。
对国内团队,印度托管是否合适,还要测实际网络路径。OpenAI-compatible API 可以减少接口适配工作,但原文没有说明工具调用、结构化输出等能力的兼容细节。对照表里的「未披露」也只表示资料不足,不能理解为其他供应商没有相关能力。
能拿来做什么
- 给 Node 或全栈应用选模型服务时,用真实请求分别测短输入、长输入和并发会话,同时记录首字延迟与输出速度。
- 做 AI 编程或 agent 工具时,先检查系统提示词、工具定义和项目上下文的重复程度,再评估缓存收益;不要直接套用 95.7%。
- 接入前确认目标模型使用共享端点还是预置吞吐量,并核实所需 API 功能,避免只因接口兼容就直接切换。
- 比较账单时,把缓存价格、优惠到期时间和 Interactive 端点溢价一起算入;面向印度用户的业务,再重点验证当地延迟优势。