基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 15:49

Python 网关实战:逐层压低大模型调用费

dev.to · AI#Python#成本优化#缓存
Editor brief · 编辑速览

文章以 Python 统一调用网关处理 21995 次合成请求,逐项评估用量账本、预算、上下文裁剪、缓存和模型路由。标题所称节省 82% 来自模拟流量,正文还涉及提示缓存反增费用和语义缓存误命中的问题。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

LLM 功能的账单,往往藏在重复发送的系统提示词、不断增长的聊天历史,以及每次都调用强模型的默认选择里。作者做了一个 Python 网关,把这些成本逐项拆开:在 21,995 次请求的模拟日流量中,费用从 $80.37 降到 $14.52,下降 81.9%。

这套方案值得看,但「便宜 82%」不能直接搬进项目预算。分词和代码确实运行过,模型却是确定性的假客户端,准确率也来自人为设定。真正能拿走的,是一套把费用、缓存误命中和回答质量放在一起检查的方法。

先记清每笔费用,预算才能挡对请求

所有调用统一经过 Gateway.handle(),应用不直接访问 provider SDK。网关依次处理预算、精确缓存、语义缓存、模型路由和供应商提示词缓存,最后记账。优化都变成配置开关,才能逐项回放比较。

LLM 网关中的预算、缓存、路由与记账流程

账本记录用户、功能、模型、usage 和费用。输入 token 还要分成普通输入、缓存读取、缓存写入,不能把缓存 token 当作免费。

按作者抄录于 2026-10-30 的价格,每百万 token 的 Standard 费用如下:

模型 普通输入 缓存读取 输出
gpt-6.1-terra $1.00 $0.05 $5.00
gpt-6-luna $0.10 $0.01 $0.50

作者按默认 30 分钟缓存写入收取普通输入的 1.25 倍计算;把这个规则用于 Luna,是作者自己的假设。上述金额只能用于理解这次模拟。

调用前用 tiktoken 0.14.0、o200k_base 估算 token,调用后以供应商返回的 usage 为准。原文没有确认 GPT-6 系列的编码,每条消息额外加 4 token 也是近似值。Claude 则可用 /v1/messages/count_tokens 估算。

预算检查按最坏情况预留:输入全部按缓存写入价计费,输出用满 max_tokens。额度不足时先切便宜模型,再考虑拒绝。后台任务使用 system 用户,豁免用户额度,但仍受功能额度限制。

每天 $1.00 的用户预算,在未优化时拒绝了 3,514 次请求,12 个用户触顶;完成优化后只拒绝 192 次,剩下一个大量粘贴日志的用户触顶。

预算负责限制损失,正常请求便宜下来要靠调用链本身。

缓存先看边界,再看命中率

作者把聊天历史限制为 1,500 token,保留 system、首条用户问题和最近消息。结果只省了 3.5%,因为大多数会话很短,每次约 2,000 token 的固定政策提示词才是主要负担。

保留首问却很关键:模拟中 20% 的追问依赖开场问题,不固定首问时,准确率从 99.96% 降到 97.54%。这里也有实现边界:最新消息始终保留,即使它单独就超过历史预算,超大输入还得交给预算层处理。

更大的坑出在供应商提示词缓存。按原文采用的规则,GPT-5.6 及以后最少需要 1,024 token,复用要求完整前缀一致。时间戳放开头会破坏复用;缓存写入又更贵,于是可能越缓存越花钱。

仅把时间戳挪到末尾,在作者的模拟里仍不够。隐式断点包含了变化的用户问题,不同问题无法复用整段缓存。作者用显式断点固定政策边界:

def _breakpoints(self, feature, msgs):
    if self.cfg.cache_mode == "implicit":
        return None                      # provider puts one at the end of the prompt
    if self.cfg.cache_mode == "explicit" and feature == "support_chat":
        return [0, len(msgs) - 1]        # after the policy, and after the latest turn
    return []                            # one-off prompts: no cache writes at all

关键是 return [0, len(msgs) - 1]:政策结束和当前对话结束各设一个边界。对应配置是 prompt_cache_options.mode = "explicit",内容块使用 prompt_cache_breakpoint。

第二次请求的输入费用,时间戳在前且隐式缓存时为 $0.002561,关闭缓存为 $0.002049,显式复用政策则为 $0.000128。作者的基线甚至比关闭缓存贵 18%。一次性处理的 4,000 词文档,也没必要为无人复用的缓存付写入费。

响应缓存又是另一层。精确缓存直接复用答案,namespace 必须带上模型和提示词版本,防止更新提示词后继续返回旧答案。这一步减少 4,226 次调用,费用从 $34.68 降到 $31.52。

语义缓存则要更谨慎。作者用字符 n-gram 哈希向量离线模拟 embedding,在 3,500 条首问上扫阈值:0.80 时有 11 次误命中,0.85 时还有 5 次,0.90 时本次样本才归零。

语义缓存提高阈值后,命中数与误命中数的变化

「升级后数据怎样」和「降级后数据怎样」相似度达到 0.841;两个不同的 15,006 token 日志,相似度更达到 0.999。作者早期版本因此把一个用户的日志分析返回给了另一个用户,后来增加 SEMANTIC_MAX_TOKENS = 64,只允许短问题进入语义缓存。

即便如此,0.90 阈值也只再省 $0.91/天。

便宜模型先答,关键在于谁来判断它答对了

路由是另一项大收益:先调用 gpt-6-luna,置信度不足再调用 gpt-6.1-terra。下面这段代码解决升级调用问题:

def route(client, messages, *, max_tokens, now, task, threshold=0.7, cheap=CHEAP, strong=STRONG,
          breakpoints=None):
    """Returns (final_response, all_responses). Every response is billed,
    so an escalated request costs cheap + strong."""
    first = client.complete(cheap, messages, max_tokens=max_tokens, now=now, task=task,
                            breakpoints=breakpoints)
    if first.confidence >= threshold:
        return first, [first]
    second = client.complete(strong, messages, max_tokens=max_tokens, now=now, task=task,
                             breakpoints=breakpoints)
    return second, [first, second]

要看最后一行的 [first, second]:升级时两次调用都收费,第一次的费用不会退回。

模拟中,16,743 次路由请求有 3,292 次升级,占 19.7%;日费用从 $30.61 降到 $15.42。准确率同时从 99.96% 降到 99.84%,少数便宜模型的答案属于「自信地答错」。

困难就在 confidence。假客户端直接提供与正确性相关的分数,真实服务需要从 log probabilities、验证提示词、已标注样本训练的分类器或学习式路由器获得信号,不能默认模型自报分数就可靠。

最后是能等的任务走 Batch API。原文按输入、输出价格均优惠 50%、24 小时内返回计算,适用于夜间摘要。所给原文在这一节截断,没有完整的最终分步输出,无法进一步核对最后一段收益。

我的判断

我认可统一网关、按实际 usage 记账,以及同时报告费用和准确率的做法。它们比单独追求缓存命中率更接近产品需要。

但 81.9% 是合成流量的结果。模型能力和任务难度是人为设定,置信度也被设计成与正确性相关;12 个 pytest 测试能约束代码行为,不能证明真实模型会达到同样效果。作者引用的 FrugalGPT「最高省 98%」和 RouteLLM「部分场景降本超过 2 倍」,也不能代替当前业务的对照实验。

还有两个迁移风险。精确缓存的归一化会转小写、删除标点,用在代码问题上可能改变含义。语义相似更不能充当权限判断,返回个性化内容时仍需租户和用户隔离。

这篇最有价值的是实验方法,82% 应当留在它自己的模拟条件里。

能拿来做什么

  • 在 Node 或 Python 的模型调用入口记录用户、功能、模型、输入输出 token、缓存读写和实际费用,先找出最贵的调用类型。
  • 检查客服或知识问答提示词,把稳定政策与动态内容分开,依据供应商实际 usage 验证缓存是否复用,再决定是否开启写入。
  • 优先给重复首问、工单分类做响应缓存,键中加入模型、提示词版本和必要的权限范围;代码内容不要直接套用删除标点的归一化。
  • 为模型路由准备人工标注样本,同时统计升级率、双重调用费用和错误率;夜间摘要等可等待任务,再评估 Batch API。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用离线回放复核 Agent 测试结果
下一篇
固定探针可能让模型 API 验真失效

资讯速览

dev.to · AI · 2026-11-16 15:49

AI 评分 8.0 / 10

相关标签

#Python#成本优化#缓存

继续阅读

  • 会议转任务,先在数据契约中设置核验关
  • 用离线回放复核 Agent 测试结果
  • 固定探针可能让模型 API 验真失效
  • LLM 后端评测:先查评分器,再改提示词
  • 记录架构决策,防止 AI 反复改错