基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-22 16:30

用成本埋点和请求分流控制大模型账单

dev.to · AI#成本优化#模型路由#可观测性
Editor brief · 编辑速览

文章给出一个基于 OpenAI SDK 的 Python 封装,按功能记录输入与输出 Token 数并估算费用。它还建议按请求复杂度选模型,将意图分类与多步推理分开处理。

文章思维导图
Knowledge map
拖拽缩放
AI brief

原文暂未完整获取,基于公开信息的快读

dev.to 上的一篇文章给出了控制大模型 API 账单的做法。作者先用 OpenAI SDK 按功能统计 Token 用量并估算费用,再按请求复杂度选模型,让轻量模型处理意图分类等简单任务,把旗舰模型留给多步推理。原文节选还提到了提示词缓存、压缩和批处理。

目前能确认什么

作者给了一个 Python 封装,给每次调用加上功能标签,读取 API 返回的输入和输出 Token 数,分别估算费用,再把总用量和估算费用写入日志。按功能汇总后,就能看出哪些功能花得最多。示例用的是代码里写死的价格表,日志里的金额是估算值。

路由示例先让轻量模型判断请求复杂度,再选模型执行。缓存则是另一条路:把固定的系统指令和参考资料放在前面,把每次变化的用户问题放在后面,让多次请求更容易复用相同的前缀。作者也提出删减冗余上下文,以及把无需实时返回的任务放进批处理。

我的判断

我会先看高支出功能里有没有能直接按业务入口分流的任务。比如意图分类若已有独立入口,就可以直接选用轻量模型,省掉一次判断复杂度的调用。需要动态分流时,要把分类调用和误判后的重试都算进成本,再用同一批请求对照任务成功率。

示例里的分类器只看用户问题,执行模型才会拿到上下文。一个短问题也可能依赖长文档做多步推理,容易被分到轻量模型。节选没有交代这类误判如何兜底,也没有给出质量对照结果。缓存的命中条件和计费口径,则要以所用 API 的官方文档为准。

Original source

本文由 AI 基于公开信息编写,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Claude Code 项目指令文件的读取优先级
下一篇
通过 MCP 让 Claude Code 直接查询日志

资讯速览

dev.to · AI · 2026-11-22 16:30

AI 评分 8.0 / 10

相关标签

#成本优化#模型路由#可观测性

继续阅读

  • Roam 让同机编程助手交接绕开 Git
  • Claude Code 项目指令文件的读取优先级
  • 通过 MCP 让 Claude Code 直接查询日志
  • Agent 推送前审批规则为何没有生效
  • 为 Agent 提交接口增加写入预演