提示词缓存省钱前先算写入成本
文章指出,部分提示词缓存存在高于普通输入价格的写入费用,低价读取并不代表总成本必然下降。缓存未被复用或复用发生在过期之后,可能反而增加支出。
AI 深度解读
Prompt caching 的读取折扣能省钱,但不能只看「便宜了 90%」。作者提醒,缓存还可能收取写入溢价或存储费:如果相同内容没有在有效期内再次命中,开启缓存反而会增加支出。
这篇最有用的是把缓存收益拆成可计算的账。不过,文中的价格口径和流量假设也有需要打问号的地方。对接 AI API 的程序员,可以拿走它的核算方法;具体费率和回本条件,则需要结合自己的账单判断。
一次缓存写入,需要几次命中才能回本
作者把缓存分成两个计费环节:首次处理并写入,后续命中后读取。所谓读取优惠,只覆盖后半段。
按原文列出的费率,Anthropic 的 5 分钟缓存写入价是普通输入的 1.25 倍,1 小时是 2 倍;读取通常是普通输入的十分之一,Opus 5.5 和 Sonnet 5.5 则是二十分之一。OpenAI 的 30 分钟写入价是 1.25 倍,12 小时是 2.5 倍,读取价是普通输入的 5%。
这些数字是原文声称于 2026 年 11 月 6 日核验的价格,本文未独立核验。
作者用一个编程助手举例:固定系统提示词和仓库上下文合计 100,000 token,普通输入单价为每百万 token 2.00 美元,每次输入成本就是 0.20 美元。
| 计费方式 | 首次输入成本 | 每次命中读取 | 首次超过普通输入的累计收益 |
|---|---|---|---|
| 短期缓存 | 0.25 美元 | 0.01 美元 | 写入后再读 1 次 |
| Anthropic 1 小时缓存 | 0.40 美元 | 0.01 美元 | 写入后再读 2 次 |
| OpenAI 12 小时缓存 | 0.50 美元 | 0.01 美元 | 写入后再读 2 次 |
短期缓存写入后再读一次,合计 0.26 美元,低于两次普通输入的 0.40 美元。两种长期缓存写入后再读两次,分别花 0.42、0.52 美元,低于三次普通输入的 0.60 美元。
缓存收益取决于一次写入后能获得多少次有效读取。
这里还有一处措辞歧义:原文说正常处理后「另外」收取存储费用,但算例把 1.25 倍当成首次输入的总价,没有再叠加一份普通输入费。理解这些数字时,应以算例口径为准。
为什么开启缓存后,账单反而可能上涨
作者列了三类容易亏钱的请求。
第一类是只处理一次的大文档。把一份 200,000 token 的合同交给 Claude Sonnet 5.5,按文中价格,普通输入是 0.40 美元,1 小时缓存写入是 0.80 美元,5 分钟写入也要 0.50 美元。没有后续读取,分别多花 100% 和 25%,文档越大,多付的钱越多。
第二类是请求间隔超过缓存有效期。如果相同内容每 10 分钟才用一次,缓存只有 5 分钟,那么每次都可能重新写入。作者进一步假设,每天 1,000 次调用都写入同一个大小为 100,000 token 的上下文:短期缓存每天花 250 美元,普通输入花 200 美元,多出每天 50 美元、每月 1,500 美元。
这个金额计算成立,但场景有缺口。单条请求流每天调用 1,000 次,与每次间隔 10 分钟并不相容;若存在多个独立缓存范围,原文没有交代。作者又算出 OpenAI 12 小时缓存每天反复写入会花 500 美元,但没有解释,同样的请求为什么连 12 小时缓存也无法命中。
所以,这组数字适合说明「每次都重写有多贵」,不能直接代表某种真实流量的账单。
第三类是提示词前缀频繁变化。按原文描述,缓存匹配依赖精确前缀。如果开头放了时间戳、每天变化的日期或用户专属问候,后面即使跟着相同的仓库资料,也可能失去复用机会。作者认为,在末尾追加内容可以复用既有前缀,只对新增部分写入。
对编程助手来说,这比单纯调长缓存时间更值得先检查:稳定的系统规则和公共上下文放在哪里,每次变化的任务信息又放在哪里,会直接影响缓存是否命中。
没有写入溢价,也可能要付闲置费
原文把 Gemini 单独拿出来,因为它描述了另一种成本结构。
按文中说法,Gemini 4 Argon 只提供隐式缓存,由 Google 决定缓存内容和时长,不收写入溢价。截至 2026 年 11 月 30 日,普通输入和缓存读取分别是每百万 token 2.00、0.10 美元;12 月 1 日起分别变为 4.00、0.20 美元。读取折扣仍然存在,但开发者无法按文中描述控制缓存保留方式。
Gemini 3.8 Flash 则收存储租金:截至 2026 年 12 月 31 日,每百万 token 每小时 0.50 美元;2027 年 1 月 1 日起涨到 1.00 美元。读取价是每百万 token 0.075 美元。
一份 200,000 token 的缓存保留 24 小时,仅存储就要支付:
0.2 × 0.50 × 24 = 2.40 美元
涨价后则是每天 4.80 美元,还没算任何读取费用。
这类缓存需要观察闲置时间。写入收费模式怕反复重建,存储收费模式怕长时间留着却没人用。只比较读取单价,会漏掉各自最容易产生浪费的地方。
我的判断
作者最有价值的建议,是把缓存写入和读取分开记录,按业务功能核算收益。代码助手、客服和单次文档分析,即使用同一个模型,也不该默认采用相同缓存策略。
但原文没有提供生产流量实测、对照实验或实际账单。它给出的是基于所列费率的算术推演,不能据此认定某种缓存策略已经在一般团队中验证有效。具体模型、有效期和价格也应按实际服务确认。
核算方法还需要修正一句。原文建议比较「写入成本」和「读取节省」,容易把完整写入费都当成新增成本。首次请求即使不开缓存,也要付普通输入费,因此应比较:
净节省 = 命中读取节省的金额 − 写入溢价 − 存储费用
按前面的短期缓存例子,写入溢价是 0.25 − 0.20 = 0.05 美元,一次读取节省 0.20 − 0.01 = 0.19 美元,净省 0.14 美元。若拿完整的 0.25 美元写入费去比较,就会错误判断这次缓存亏钱。
「短期读一次、长期读两次」也只适用于文中的费率组合。通用方法是算增量成本,再用真实命中记录验证。
能拿来做什么
- 在 Node 的 AI API 调用层分别记录缓存创建和读取。原文给出的 Anthropic 字段是
cache_creation_input_tokens、cache_read_input_tokens,OpenAI 字段是prompt_tokens_details.cached_tokens;后者只说明缓存读取量,原文没有给出对应的写入字段,不要自行把它当成完整缓存账单。 - 检查编程助手的提示词模板,把稳定规则和可复用资料放在前部,把时间、用户信息和当前任务放在后部,再观察命中情况是否改善。
- 按功能统计一周请求,计算读取节省、写入溢价和存储费。对于持续亏钱的功能关闭缓存;对于存在复用的功能,再根据实际请求间隔选择有效期。