2026 LLM网关对比：成本、可靠性与市场格局

dev.to · AI#LLM网关#架构选择#成本控制

Editor brief · 编辑速览

对比OpenRouter/LiteLLM/Portkey/Cloudflare的多模型路由、故障转移、成本优化能力，分析2026年产业洗牌（Portkey被收购、Helicone冻结）。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

OpenRouter 自己公布的数据显示，它每月路由的 token 超过 200 万亿，覆盖来自 70 多家提供商的 400 多个模型，服务用户超过 1000 万。放在模型 API 前面的代理，已经从一种便利工具变成了生产基础设施。与此同时，打造这些代理的公司在 2026 年经历了残酷的洗牌：Palo Alto Networks 于 5 月收购 Portkey，Mintlify 于 3 月接手 Helicone 并将其冻结，Martian 转向可解释性研究，而 Not Diamond 则将自身定位收缩到只为 coding agent 提供路由。

这是我在 DevToolLab 发布的一篇更长指南《2026 年最佳 LLM Gateway 与 API Router》的精简版，完整版包含详细的定价拆解和更多代码。

Gateway 到底做什么

LLM gateway（与 AI gateway 或 API router 是同一个概念）是位于你的应用与提供商之间的代理。你的代码不再直接调用 api.openai.com，而是调用 gateway，由 gateway 处理围绕模型调用的一切事务：

为所有提供商提供统一的 OpenAI 兼容格式，因此切换模型只需修改配置，不必重写代码。
当提供商发生故障或对你限流时，自动执行 fallback 和重试。
集中管理凭证：服务只拿到限定权限的 virtual key，真正的密钥由 gateway 保管。
通过精确缓存或语义缓存，让重复 prompt 不会被重复计费。
提供预算、速率限制以及按团队归集成本的能力。

这本质上是把负载均衡器的思路应用到模型 API 上。促使团队采用 gateway 的痛点总是非常具体：比如 12 个服务都在直接调用 gpt-4o，一次 OpenAI 故障就让它们同时超时；又或者因为没有 virtual key 系统，同一个生产环境 Anthropic 密钥被粘贴进了三个代码仓库。

四个主要选项

OpenRouter 是希望获得最广模型目录、又不想维护任何基础设施时的默认选择。它不会在每 token 价格上加价，商业模式主要依靠 5.5% 的余额充值手续费（最低 0.80 美元）、加密货币充值的 5% 手续费，以及 bring-your-own-key 流量在每月前 100 万次免费请求之后收取的 5% 手续费。2026 年 5 月，OpenRouter 完成了由 CapitalG 领投、Nvidia 旗下 NVentures 参投的 1.13 亿美元 B 轮融资，估值约为 13 亿美元，因此它短期内不会消失。

接入方式只需在官方 OpenAI SDK 中替换 base URL，并使用提供商/模型 slug：

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="<OPENROUTER_API_KEY>",
)

completion = client.chat.completions.create(
    model="anthropic/claude-sonnet-4.5",
    messages=[{"role": "user", "content": "Summarize the CAP theorem in two sentences."}],
)
print(completion.choices[0].message.content)

它的代价是：每一次模型调用都会经过一个闭源的托管代理。

LiteLLM 走的是完全相反的路线：它完全开源，在 GitHub 上约有 55,000 个 star，由 YC W23 公司 BerriAI 打造，可以把 100 多家提供商统一到一个由你自行运行的 OpenAI 兼容接口之后。你可以把它当作 Python SDK 使用，但更常见的方式是将其作为独立代理运行，让整个团队的服务都指向它，这样 Go 和 Node 服务也能使用同一套统一 HTTP 接口。通过 config.yaml 将便于理解的模型名称映射到实际部署，再运行 litellm --config config.yaml，即可在 4000 端口启动代理。

如果选择自行托管，有一件事绝不能忽略：CVE-2026-42271。这是 LiteLLM MCP 测试端点中的一个命令注入漏洞，CVSS 评分为 8.7，受影响版本为 1.74.2 至 1.83.6。它与 Starlette 的 host-header 绕过漏洞（CVE-2026-48710）组合后，可形成未经身份验证的远程代码执行攻击。该漏洞已被收录进 CISA 的 Known Exploited Vulnerabilities 目录，并且已经观察到活跃利用。问题已在 1.83.7 中修复。请及时安装补丁，并确保管理端点和测试端点不暴露在公网中。

企业版定价涵盖 SSO、RBAC 和审计日志，按具体交易协商，并未公开。

Portkey 将高性能的开源 gateway 与托管的可观测性层结合在一起。其开源项目约有 12,500 个 star，支持 1,600 多个模型以及 50 多种内置 guardrail，并提供语义缓存、负载均衡、virtual key 和内容 guardrail。自行托管 OSS gateway 完全免费，也没有日志数量限制；托管版则从 Developer 免费层开始，包含 1 万条日志和 3 天保留期，并明确不适用于生产环境；Production 版本每月 49 美元，包含 10 万条日志；Enterprise 版本则面向合规要求较高的部署。

2026 年需要注意的是它的所有权。Palo Alto Networks 于 2026 年 5 月 29 日完成对 Portkey 的收购，并将其定位为 AI agent 安全体系的一部分，与此前收购的 Protect AI 和 CyberArk 协同发展。OSS gateway 目前仍然可用，但官方尚未公开承诺未来路线图，因此如果准备在它身上押注多年，就需要持续关注后续变化。

Cloudflare AI Gateway

如果你已经在使用 Cloudflare 的任何服务，这就是一个五分钟便能启用的选项。它在所有套餐中都免费提供，涵盖分析、日志、缓存、速率限制，以及在 Workers AI、OpenAI、Anthropic、Gemini 和 Replicate 之间进行 fallback。付费附加功能包括 Logpush——每月超过 1000 万条记录后，每 100 万条收费 0.05 美元，且要求使用 Workers Paid——以及新的 Unified Billing。后者可以把第三方模型费用统一计入 Cloudflare 账单，手续费为 5%。它刻意没有追求成为功能最密集的 gateway；你之所以启用它，是因为自己的基础设施本来就已经在那里。

企业级补充选择

Kong AI Gateway 在现有 Kong API 管理部署的基础上，增加了语义缓存、prompt 压缩、PII 清理，以及 MCP/agent 流量治理能力。它主要适合已经将 Kong 作为核心 gateway 的团队。TrueFoundry 面向同一类客户，支持 250 多个模型，并提供 RBAC、预算控制和本地部署。其定价从免费层开始，Pro 版本每月 499 美元，Pro Plus 版本每月 2,999 美元；该公司已在 Peak XV 和 Intel Capital 参与的多轮融资中累计筹集约 2100 万美元。

2026 年的行业整合对你的选择意味着什么

在大约五个月内，四家路由创业公司改变了自身定位：Portkey 被收购；Helicone 在为约 16,000 个组织处理超过 14 万亿 token 后被收购，并进入维护模式；Martian 如今成为一家可解释性研究公司；Not Diamond 则将业务范围收窄到 coding agent 路由。这个赛道并没有消亡；它只是成熟得足够快，以至于各大平台都希望将其纳入自身版图，同时也证明单纯的路由并不是一门具有足够护城河的独立生意。

实际筛选标准是：要么选择能够 fork 并自行托管的产品，例如 LiteLLM、Portkey 的 OSS gateway；要么选择由大型平台托管，而且该平台有明确理由持续投入的产品，例如 OpenRouter、Cloudflare。对于小型独立厂商则需要保持谨慎，因为它们的路线图可能在下个季度就会易主。

一个最小化的初始配置

最快且无需注册账号的路径是 LiteLLM：运行 pip install litellm[proxy]，将提供商密钥导出为环境变量，编写一个列出模型的 config.yaml，启动代理，然后只需把现有 OpenAI client 中的 base_url 改成 http://localhost:4000。接着为每个模型添加 fallbacks 列表，这样当提供商发生故障时，服务可以平稳降级，而不是直接向用户返回错误。原始指南通过完整的配置片段详细讲解了全部七个步骤。

在路由任何请求之前，可以使用 DevToolLab 的 AI Token Counter，估算 GPT-5、Claude、Gemini 和 Llama 的 token 用量与成本；还可以使用 cURL to Code Converter，把 gateway 的 curl 示例转换成 fetch、Axios 或 Python 代码。

模型目录最广、无需托管任何东西：OpenRouter。

完全控制、自行托管：LiteLLM；考虑到它过往的 CVE，务必持续跟进最新补丁。

优先考虑 guardrail 和团队级可观测性：Portkey，同时关注 Palo Alto 的路线图。

已经在使用 Workers：Cloudflare AI Gateway 几乎等于免费的午餐。

让十几个服务直接调用模型 API，本就不可能撑过第二次提供商故障。到了 2026 年，gateway 已经是标准基础设施，而不再是锦上添花的功能。

DevToolLab 上的原始文章

LiteLLM 与 LiteLLM GitHub 仓库

Portkey 与 Portkey gateway 仓库

Cloudflare AI Gateway

TrueFoundry AI Gateway

如需采取进一步措施，你可以考虑屏蔽此人和/或举报滥用行为。