基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 20:58

在 Fargate 验证 AI 网关预算隔离

dev.to · AI#AI网关#预算控制#AWS
Editor brief · 编辑速览

作者在 ECS Fargate 部署兼容 OpenAI 接口的 AI 网关,用 PostgreSQL 记录各密钥支出,经 Bedrock 调用 Nova Micro。测试等待费用入账后检查超预算拒绝及其他应用的可用性,展示了计费延迟和预算超额问题。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

App A 花完一美分预算后,下一次模型请求应该被拒绝;App B 走同一个接口、调用同一个模型,却应该继续成功。作者在 ECS Fargate 上搭建 AI Gateway,真正要验证的是这两件事能否同时成立。

实测结果是:App A 的记账金额达到 $0.010573 后被拒绝,App B 仍然完成请求。但它验证的是超额后的拦截,不是调用前的费用预留。对准备给多个应用统一接入模型的团队,这个区别比接口能否返回回答更重要。

统一模型入口以后,应用只需要持有自己的 key

应用直接调用 Amazon Bedrock 并没有问题。如果各应用已经管理好 AWS 身份和使用策略,增加网关未必划算。作者需要的是 OpenAI-compatible API,以及集中分配模型权限、应用预算的管理入口,因此选择运行 LiteLLM 代理。

两个演示客户端通过 AWS Systems Manager 隧道连接 127.0.0.1:4000,向 /v1/chat/completions 发送请求。它们使用相同的模型别名 nova-micro,各自携带 bearer key。网关再把别名映射到 Bedrock Converse 的真实模型。

下面这段配置负责固定客户端看到的名称,并从环境变量读取区域和管理密钥:

model_list:
  - model_name: nova-micro
    litellm_params:
      model: bedrock/converse/amazon.nova-micro-v1:0
      aws_region_name: os.environ/BEDROCK_REGION

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

litellm_settings:
  turn_off_message_logging: true

要留意 model_name 和 model 的分工:前者是应用使用的别名,后者决定上游路由。turn_off_message_logging: true 关闭消息日志,但不能据此认定整个系统完全不记录敏感信息。

AWS 权限则留在服务端,ECS task role 的模型调用权限被限定到 Nova Micro:

task.addToTaskRolePolicy(new iam.PolicyStatement({
  actions: ['bedrock:InvokeModel', 'bedrock:InvokeModelWithResponseStream'],
  resources: [this.formatArn({
    service: 'bedrock',
    account: '',
    resource: 'foundation-model',
    resourceName: 'amazon.nova-micro-v1:0',
    arnFormat: ArnFormat.SLASH_RESOURCE_NAME,
  })],
}));

关键是 resourceName: 'amazon.nova-micro-v1:0',它把调用资源范围收到了具体模型。应用只拿虚拟 key,不接触 task 的 AWS 凭证;会话访问和 master key 则属于运维权限。

AI Gateway 的部署与请求架构

Fargate 承载长期运行的代理和 Admin UI,PostgreSQL 保存 key 与消费记录。task 使用公共子网和 public IPv4 出站访问 HTTPS,没有入站安全组规则,也没有 NAT gateway,代理绑定 loopback。Aurora 位于隔离子网,启用静态加密并要求 TLS,只允许 task 安全组访问 PostgreSQL。

镜像通过 digest 固定 LiteLLM 版本,并包含 RDS CA bundle;Secrets Manager 注入数据库凭证和 master-key 后缀。原文没有给出 LiteLLM 的具体版本号,复现时需要检查仓库。

预算是否有效,要看超额后的下一次请求

作者没有把 HTTP 200 当作验收终点,而是逐层验证。

部署使用 us-east-1 的一次性 AWS 环境,要求 Node.js 24 或更高版本、pnpm 12.18.0、Python 3、Make、Git、AWS CLI v2、支持 linux/amd64 的 Docker,以及 Session Manager plugin。账户还要具备 CDK 部署权限,并确认能调用该区域的 Nova Micro。

仓库准备和部署依次执行 make install、make check、make synth,首次需要时运行 make bootstrap,再执行 make diff 和 make deploy。部署前应检查 diff。

随后用 make tunnel 保持隧道运行,通过 curl --noproxy '*' -i http://127.0.0.1:4000/health/readiness 检查连通性。ECS 替换 task 后,需要重新开隧道。

readiness 返回 HTTP 200,只说明代理可达。make smoke 会继续检查匿名模型列表访问被拒绝,创建预算为 $0.01 的临时 key,读回策略,要求真实 Bedrock 返回非空内容,最后删除 key。

真正验证预算的是 make test-budgets。它创建两个有效期均为 30 分钟的 key,用 App A 发送合成输入,根据返回 token 数估算何时停止加载,然后等待网关的消费记录更新,再发送一个小请求,确认出现预算专属错误。

HTTP 429 本身不能证明预算生效,因为限流也可能返回这个状态码。

接着,测试确认 App B 首次请求前的消费仍为零,要求其调用成功,并等待属于 App B 的费用入账。即使检查失败,脚本也会尝试删除两个 key。

应用预算与消费记录

记录中的 App A 花费 $0.010573,比 $0.01 阈值高出 5.73%。一次回答本身就可能把消费推过预算,记账也可能滞后于请求。

因此,这套实现验证的是「记录超额后拒绝后续请求」,并没有验证「每次请求前预留最高可能费用」。客户端请求数量限制、每次最多输出 8 token,以及虚拟 key 预算,都不能构成 AWS 账单的硬上限。

重试要用可控故障测,生产能力也要单独算账

真实 Bedrock 很难稳定复现「先限流两次,再成功」的顺序。作者把重试测试放到本地:使用同一份固定镜像,在禁用外部网络的 Docker 容器中运行 mock provider,检查上游请求顺序、客户端 HTTP 状态和响应标记。

执行 make test-reliability 不需要 AWS 凭证、数据库或隧道。记录中的 4 个场景全部通过。

这里有一个边界:备用路由只存在于测试配置,实际部署只暴露一个 Bedrock 模型别名。测试说明该版本代理如何处理配置好的故障,不能证明线上已经具备多供应商容灾。原文正文也没有列出全部 4 个场景的具体断言。

部署验证与可靠性测试结果

保持隧道开启后,make verify 可以运行完整检查。作者记录的一次销毁、重新部署和验证,包含 3 个基础设施测试、5 个单元测试、smoke test、两个预算断言,以及 4 个本地可靠性场景。

运行成本也不能只看推理费。仓库估算,在 us-east-1 运行 730 小时,一个 0.5 vCPU / 2 GiB Fargate task、一个 public IPv4,以及最低 0.5 ACU 的 Aurora,约需 $69。这还不包含存储、I/O、日志、Secrets Manager、镜像存储和推理费用。应用停止调用,基础设施仍会计费。

演示只有一个 task 和一个数据库 writer,更新期间可能短暂不可用;运行访问和 schema 初始化还共用生成的数据库用户。SSM 是运维入口,共享应用服务需要另行设计入口和授权。

清理时先停止隧道,用 aws sts get-caller-identity 确认身份,再运行 make destroy,检查 CloudFormation 中 SpeedRunAiGateway 达到 DELETE_COMPLETE。数据库及 key、预算、消费历史会被删除,不保留最终快照;共享的 CDKToolkit 和 ECR 资产可能继续存在。

我的判断

我认可作者把验收重点放在失败之后:A 被拒绝时,B 是否还能用;请求成功后,费用是否记到正确的 key;看到错误时,能否确认原因。相比只展示一段聊天响应,这些检查更接近共享模型入口的实际管理需求。

但证据范围要收紧。5.73% 是一次运行的超额记录,不是误差保证。原文没有并发压力、不同请求规模或更长记账延迟下的对照数据,不能据此推算一般团队的最大超支。

独立 key 的预算隔离,也不等于客户数据隔离或高可用。

相比应用直接管理 AWS 身份,网关增加了统一策略入口,也带来了常驻成本和运维责任。相比调用前预留费用,它实现的是更宽松的阈值拦截。原文没有提供这些方案的成本和性能对照,选择仍取决于团队需要多强的费用约束,以及是否愿意维护中间服务。

作者提出未来可以接入 OpenAI 或 Anthropic,这属于架构延伸。当前真实部署只验证了 Bedrock,新路由仍需分别检查请求兼容性、费用记录和故障行为。

能拿来做什么

  • 给多个 Node 服务统一接入模型时,可以按应用分配虚拟 key 和模型别名,把上游凭证留在网关;需要 master key 的管理操作应留在服务端运维流程。
  • 给现有 AI 应用补一条双 key 验收:耗尽 A 的预算,等待记账,确认预算专属拒绝,再验证 B 成功且费用独立入账。
  • 将重试测试拆成两部分:本地 mock 验证精确故障顺序,真实供应商测试验证连通性和记账;测试配置中的备用路由,要与实际部署逐项核对。
  • 评估预算功能时,先明确需要的是超额后停用,还是严格限制总费用。若要求费用硬上限,这篇演示不足以证明满足需求,还要单独设计请求前的费用控制。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
防止 AI 漏交任务的两条验收规则
下一篇
智能体研究聚焦越权重试与需求跟踪

资讯速览

dev.to · AI · 2026-11-17 20:58

AI 评分 8.0 / 10

相关标签

#AI网关#预算控制#AWS

继续阅读

  • 让 AI 沿一次真实请求讲懂代码库
  • 防止 AI 漏交任务的两条验收规则
  • 智能体研究聚焦越权重试与需求跟踪
  • JSON 默认转义可能推高提示词成本
  • Laravel 新闻流水线的智能体工程经验