同款模型换服务商,推理速度差多少
作者对 GLM 和 DeepSeek 的原厂接口及 Mistral 托管接口进行了 200 次流式请求测试,覆盖五类负载。测试中,Mistral 的长回答中位生成吞吐量达到原厂接口的 1.75—2.27 倍,但这不等于端到端响应同比提速。
AI 深度解读
同一个模型,换一家 API 服务商,长回答的生成速度可能就差一倍。作者把 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 分别接到原厂 API 与 Mistral,在 200 次流式请求中发现:Mistral 在所测长输出任务上的可见文本生成吞吐量中位数达到原厂的 1.75–2.27 倍。
这个结果值得程序员关注,因为遇到 AI 回答慢,未必需要立刻换模型。但它证明的是特定测试下的输出速度差异,不能直接推导出回答质量相同、首字更快,或者你的应用也能获得同等收益。
这次比较怎样保证尽量公平
作者使用自己开发的开源 Python 库 LLM API Adapter 发起测试。这个库只有一个核心运行时依赖:requests。测试覆盖四条 API 路线:
- 通过 Z.ai 调用 GLM 5.3 Flash。
- 通过 Mistral 调用 GLM 5.3 Flash。
- 通过 DeepSeek 调用 DeepSeek V4.1 Flash。
- 通过 Mistral 调用 DeepSeek V4.1 Flash。
实验包含五种工作负载,每种负载、每条路线执行 10 次请求,合计完成 200 次,没有记录到错误。请求顺序执行,并调整服务商的出场顺序;使用匹配的提示词,统一设置 reasoning_level="low",不在应用层设置输出 token 上限。
这些安排减少了一部分比较偏差,但提供的原文没有列出五种负载的完整定义,也没有给出提示词和完整结果表。因此,我们能理解实验方法,却无法仅凭这些内容原样复现。
作者还区分了两个容易混淆的指标。首个可见文本耗时(TTFT),从发出请求算到收到第一个非空白文本片段;生成吞吐量,则衡量首个片段之后,可见文本到达的速度。
开始回答有多快,和开始后写得有多快,是两件事。
最高约 2.3 倍,具体快在什么地方
吞吐量比较集中在 B、D 两种长输出场景。原因很实际:短回答可能只经过少量流式分块,某个分块早到或晚到,就能明显改变计算结果,难以代表持续生成速度。
作者没有直接采用各服务商返回的 token 计数,而是统一使用 o200k_base tokenizer,将可见文本换算成估算 token,再计算每秒到达量。这样统一了统计口径,但结果仍是近似值,不是模型内部解码速度,也不是服务商原生 token 数。
四组长输出比较中,Mistral 的吞吐量中位数全部更高:
- GLM 5.3 Flash 的优势从一组任务中的 2.27 倍,降到较长输入任务中的 1.75 倍。
- DeepSeek V4.1 Flash 在两种场景中均约为原厂的 1.76 倍。
标题里的最高约 2.3 倍,来自实测最高值 2.27 倍的取整表达。它不能理解成所有请求都能提速这么多。
还有一个容易误读的现象:DeepSeek 在两家服务商上,都是长输入场景生成得更快。但两种场景的任务不同,不能据此得出「上下文越长,生成越快」的结论。
作者记录的 OpenRouter 历史指标也呈现过 Mistral 更快的趋势,不过数值随时间变化明显。那是另一套观察,方法和负载不同,不能与这 200 次请求合并统计,更不能把某次速度当成服务商的永久属性。
首字延迟和回答质量,还不能一起下结论
TTFT 的结果没有吞吐量那么整齐。作者报告,Mistral 降低了 DeepSeek 在两个场景中的 TTFT 中位数;GLM 在长输入场景中则几乎没有差别。提供的原文没有给出具体耗时,因此无法判断用户实际能少等多久。
这里的计时包含可见文本出现前的隐藏推理,不能当成纯网络延迟或基础设施延迟。即使两边都传入 reasoning_level="low",也不保证内部采用完全相同的推理行为。
质量方面,Mistral 文档声称,它托管的 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 未经修改。这为能力可比提供了一个前提,却不是质量一致的实测证据。采样方式、推理配置、推理服务设置和请求处理,都可能影响最终回答。
这次实验测了速度,没有评估输出质量。
作者也无法确定速度差异究竟来自 GPU、批处理策略、服务优化,还是多种因素共同作用。根据这份测试去判断谁的底层推理引擎更强,证据还不够。
我的判断
我认同作者提出的排查顺序:嫌一个模型慢,先比较它在不同服务商上的表现,再决定是否更换模型。对已经围绕某个模型调好提示词的团队,这是一条值得验证的路线。
不过,这份结果更适合当作测试线索。每条路线、每种场景只有 10 次请求,且顺序执行,没有并发负载测试。它回答了作者当时访问公共 API 的表现,没有回答一般团队在高峰期、并发调用或不同网络环境下会怎样。
对长篇生成任务,持续吞吐量确实值得优先关注。对短问答,TTFT 可能更影响体验。到了 agent 工作流,回答是否准确、工具是否兼容、推理行为是否稳定,又可能比生成速度更重要。这些是作者提出的取舍,原文没有对应的质量或工作流对照数据。
因此,「换服务商可能提速」有实测支持;「换过去整体体验一定更好」仍需自己验证。
能拿来做什么
- 如果你的应用需要生成长篇内容,可以保留现有模型,选取真实提示词比较原厂与其他托管服务商,同时记录 TTFT 和持续生成吞吐量。
- 如果你在做流式聊天界面,应分别统计首次出现有效文字的等待时间,以及之后的输出速度,避免只看一个平均 tokens/s。
- 如果准备调整 Node 后端的模型调用路线,应使用相同任务检查答案正确性、格式约束和工具调用兼容性,再决定是否迁移。
- 如果已经保存了一次测速结果,应在不同时段复测,并记录测试时间和负载条件,避免用一次历史成绩决定长期路由。