在付费 API 调用前设置预算闸门
BleedStop 在 LLM、短信和支付 API 消费前,通过确定性的租户规则返回允许、限额、挑战或拒绝决策,并使用 Redis 跨实例原子执行预算约束。设计上由规则控制调用权限,智能体只负责解释。
AI 深度解读
Agent 一旦能调用付费 API,提示词注入和失控循环就可能变成账单。BleedStop 的做法是在花钱前加一道检查:应用先请求决策接口,由每个租户的规则决定放行、限额、追加验证还是拒绝,模型只负责解释。
这篇案例值得读的地方,是作者把预算控制、流式截断和多实例状态串了起来,也明确区分了真实测试、模拟结果与公开演示。它提供了一套可借鉴的工程设计,但还不能证明生产环境里的省钱效果和攻击防护能力。
为什么花钱的决定要交给规则
BleedStop 面向 LLM、SMS 和支付 API。应用在支出前调用 POST /decide,也可以通过 Node SDK 的 Express middleware 接入,获得 ALLOW、LIMIT、CHALLENGE 或 DENY。
作者将风险对应到 OWASP LLM10「无界消耗」(Unbounded Consumption):一次恶意输入,或者一个停不下来的工具调用循环,都可能持续消耗预算。
请求进入后,系统检查请求内容、短语列表,以及可选分类器,再检查预算、写入决策。规则按租户配置,关键决策路径采用确定性逻辑,Agent 只解释结果。
决定是否花钱的组件,不应依赖模型能否正常回答。
这个设计解决的是决策权归属。模型卡住、提示词受到污染时,预算规则仍应有效。不过,短语匹配和分类器能识别多少攻击,是另一个问题,不能因为决策路径确定,就推导出安全检测足够准确。
共享预算和输出截断,分别堵住两种超支
多实例部署时,每个进程各算各的余额,会把一个预算上限变成多个上限。BleedStop 用 Redis 保存共享预算,跨实例原子执行限制。
作者在 3 个实例上,用 2,000 个并发调用冲击 $5 上限,测得超支为 $0.000。同类配置经过负载均衡器后,达到每秒 6,291 次决策,p99 为 31.9 ms。每次决策写入 Postgres 审计表,触发器阻止 UPDATE 和 DELETE,避免记录被原地修改。
另一条路径是 OpenAI compatible proxy。POST /v1/chat/completions 会为输入和有上限的输出预留预算,再按实际用量结算。DENY 返回 HTTP 429,CHALLENGE 返回 HTTP 403,采用 OpenAI 错误格式;LIMIT 则降级到小模型,原文没有给出具体型号。
输出上限取三者最小值:请求指定的上限、OPENAI_PROXY_MAX_OUTPUT_TOKENS,以及剩余预算允许的输出量。这个环境变量的默认值是 1024。README 还声明,即使上游忽略 max_tokens,代理也会在流式响应中途截断。
这里需要分清两层控制:共享预算约束累计支出,流式截断约束单次响应。只在请求发出前估算一次,无法覆盖上游持续生成的情况。
部署也不只是一个接口。技术栈包括 Node.js、Python、Postgres、Redis 和 Kubernetes;Docker Compose 启动 3 个 API 副本及 nginx,Helm chart 提供 readiness、liveness 探针、PodDisruptionBudget、HPA 和优雅排空,并配有 Prometheus、Grafana、告警、GitHub Actions CI、Node/Python SDK、多租户 YAML 策略和 OpenTelemetry。
哪些数字能证明有效,哪些还不能
所有案例测试都来自一台共享的 8 vCPU Linux 机器,压测器、负载均衡器和服务共用硬件。作者将吞吐视为真实集群的下界,但这是作者的判断,多节点或云端表现仍需验证。原文另提每秒 5,433 次决策及滚动重启结果,没有在这里展开对应条件。
真实上游测试规模很小:Groq 免费层、模型 openai/gpt-oss-20b,请求生成 1500 个单词,但限制为 64 tokens。Groq 遵守了改写后的 max_tokens,因此这次没有验证代理主动截流。按策略费率核算,单次成本从 $0.0271 降至 $0.00151,实际账单是 $0。
20 对非流式调用中,直连 p50 为 245.8 ms,经过 BleedStop 为 234.2 ms。不能据此判断代理加速了请求,作者也承认,这个规模下开销被互联网波动淹没。
更明确的延迟数据来自模拟上游:npm run bench:openai,n=1000 次非流式调用,新增延迟 p50 为 1.53 ms、p99 为 1.86 ms。另一次模拟让上游忽略 max_tokens,40 个请求各要求 20,000 个单词,40 条流全部被截断。按每 1,000 tokens 收费 $0.01、字符数除以 4 估算 token,费用从 $10.70 降到 $0.41。这是模拟核算。
攻击测试也有边界:400,000 字符洪水阻断率 100%,共享设备群 97%,重试风暴 94%,正常用户阻断率 0%,但汇总没有样本量。作者自建的黄金集与规则出自同一人,召回率为 48.0%,精确率为 100%,没有良性误报。这些数字不能直接当作线上效果。
公开 Demo 的限制更直接:Vercel Hobby functions 使用实例内存,没有 Redis 和 Postgres,冷启动或切换实例可能重置预算、速率和时间窗口,不能可靠执行集群 $5 上限。
下面这条原始命令用于体验决策接口:
curl -s -X POST https://bleedstop-demo.vercel.app/decide \
-H "Content-Type: application/json" -H "X-API-Key: demo-public-key" \
-d '{"actorId":"demo-user-1","action":"llm.call","paid":false,"estimatedTokens":500,"signals":{"deviceFingerprint":"fp-demo-1"}}'
注意 estimatedTokens:租户 demo 的未付费上限为 32,000,传 500 应返回 ALLOW,改为 400,000 应返回 DENY。Demo 浏览器里的分类器不保护 API,不能把页面检测当成服务端防线。
我的判断
我认可把支出控制放进独立规则层。相比只靠 Prompt 要求 Agent 节制调用,它更容易审计;相比单纯限请求次数,它还能约束单次输出规模。不过,额外的决策服务也会引入状态一致性、数据库故障和部署维护成本。
作者的负载测试比漂亮的省钱百分比更有参考价值。他报告修复了 8 个问题,只披露其中 4 个:启动加载 109 万行导致 Pod 循环崩溃;数据库断开后写入器永久挂起;未处理的连接错误使副本崩溃;进程内状态让滥用信号被多个副本分散。
对应修复包括 Redis 权威模式跳过启动加载,否则只取支出最高的 50,000 行;设置连接和查询超时;处理连接异常;将共享状态迁入 Redis。
这些证明作者做过负载与故障排查,但 NetworkPolicy 执行、多节点或云集群、Postgres 高可用、真实供应商延迟和定价基准均未完成验证。生产客户节省金额也没有数据。低误报值得追求,48.0% 的召回率则提醒我们:这道关卡只能作为分层防护的一部分。
能拿来做什么
- 在 Node 服务调用付费 LLM 或工具前统一检查租户预算,并记录决策,避免多个业务入口各写一套限制。
- 多副本部署时,把预算、速率窗口和滥用信号放到共享存储,验证并发请求是否共同遵守同一个上限。
- 使用流式代理时,分别测试上游遵守和忽略
max_tokens的情况,确认预留、截断与实际用量结算都能闭环。 - 评估类似项目时,分别查看真实上游测试、模拟压测和 Demo 配置,并要求补充样本量与故障条件。