Agnos Proxy：分离控制平面与数据平面的 LLM 网关设计

概述

LLM 路由、成本追踪与可观测性的网关无关控制平面。

Agnos Proxy 是一个 OpenAI 兼容的治理代理，位于你的应用与模型提供商之间。只需将任何应用指向它（改一个 base_url，发一个 workspace key），它就能继承集中式的凭证隔离、护栏、预算、限速、路由/兜底、成本归属以及完整的可观测性——无论使用哪家提供商，无论在哪个翻译引擎之后。

掌控你的控制平面。随时替换翻译层。

治理边界和加密密钥金库留在你自己的基础设施中。提供商翻译层是一个可替换、无状态的通用组件，插在一个固定的槽位里：接入 Bifrost、LiteLLM、Portkey、内置的 Direct 引擎，或任何 OpenAI 兼容的网关——只需改一行配置，就能按提供商实时切换。我们容纳引擎，而不是与引擎竞争。

这就是核心逻辑：网关市场永不停歇。价格会变，提供商会……