复用提示词前缀,减少重复输入开销
文章介绍提示词缓存如何复用稳定前缀的计算状态,适用于长系统提示、重复文档和工具定义等场景。它还讨论不同供应商的实现差异及适用边界,实际节省取决于缓存命中和计费规则。
AI 深度解读
长系统提示词、同一份 PDF、反复发送的代码上下文,可能正在让你的 LLM 应用为重复内容反复付费。原文讨论的 Prompt caching,就是让服务商复用这些内容的计算结果,降低重复输入的费用和首字响应等待。
作者的结论有用:先整理稳定前缀,再谈缓存折扣。但文中的价格、模型名和 API 示例属于作者给出的 2026 年末口径,部分算账和表述也有漏洞。读这篇,更应该拿走请求组织和成本核算方法。
缓存复用的是计算,关键在前缀是否稳定
Prompt caching 不是把上一次答案直接返回。它复用的是模型处理输入时产生的 KV cache,也就是后续生成会用到的内部状态。同一段开头已经算过,下次请求就有机会跳过这部分重复计算,后面的新问题仍然需要处理。
作者举例,一个 20,000-token 的系统提示词每天发送 100 次,就有 200 万个输入 token,其中大量内容重复。按原文口径,缓存读取价格约为普通输入的 5%—50%,对应缓存部分节省 50%—95%。
缓存折扣作用于命中的输入部分,不能直接当成整次请求的降价幅度。
输出费用、动态输入,以及某些服务商的缓存写入和存储费用,都要另外算。原文开头把未使用缓存的团队描述为每次请求多付 2—20 倍,范围就放大了。
缓存能否发挥作用,主要看两个条件:
- 稳定内容是否放在请求开头。作者强调前 K 个 token 对应的内容必须完全一致,前面改一个字符,后面原本相同的内容也可能失去复用机会。
- 相同前缀是否在有效期内再次出现。TTL,即缓存保留时间,决定了下一次请求还能不能读到它。
因此,适合缓存的是多人共用的长系统提示词、同一文档的连续问答,以及围绕同一代码库进行的多轮编程。一次性请求、开头频繁变化的提示词,以及低于服务商最低长度要求的短输入,收益有限。原文多次提到 1,024-token 门槛,但没有逐模型列清,不能把它当成所有平台的统一规则。
自动缓存省接入,显式缓存让成本更可控
原文把 OpenAI 和 DeepSeek 归为自动缓存:请求满足条件,服务商自行处理。Anthropic 使用显式 cache_control 标记;Gemini 同时提供隐式和显式缓存。
下面这段 Anthropic 示例解决的是:把共用规则标为缓存边界,让每次变化的问题留在后面。
from anthropic import Anthropic
client = Anthropic()
LONG_SYSTEM_PROMPT = """\
You are an assistant for a legal document review platform.
Answer questions only using the attached contract.
Cite clause numbers.
...
(10,000 more tokens of policy, examples, allowed-tools, formatting rules)
"""
def ask(question: str) -> str:
response = client.messages.create(
model="claude-sonnet-5-5",
max_tokens=1024,
system=[
{
"type": "text",
"text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}, # 默认 TTL 为 5 分钟
}
],
messages=[{"role": "user", "content": question}],
)
return response.content[0].text
重点是 cache_control 所在行:缓存范围包含标记之前及当前块的内容。max_tokens=1024 是示例中的输出上限,与最低可缓存长度不是一回事。
按作者给出的价格,5 分钟缓存写入为标准输入的 1.25 倍,读取为 0.1 倍;Sonnet 5.5、Opus 5.5 则被描述为 0.05 倍。对 10,000-token 前缀,5 分钟内调用 20 次,按 0.1 倍读取计算:
普通输入是 200,000 token 的基础费用;缓存方案是 10,000 × 1.25 + 19 × 10,000 × 0.1 = 31,500,约省 84.25%,接近原文所说的 85%。
延长到一小时的配置是:
cache_control = {"type": "ephemeral", "ttl": "1h"}
要注意 ttl:作者称一小时缓存写入为 2 倍、读取仍为 0.1 倍,需要两次后续读取才划算,并称该能力于 2025 年 8 月正式可用,不再需要 beta header。
OpenAI 部分则称,GPT-5.6 及之后的模型通常保留约 30 分钟,支持延长保留的模型可到 24 小时;示例调用为 client.chat.completions.create,模型为 gpt-5.6-terra。作者还称 GPT-6 系列支持显式缓存断点,但没有提供对应参数,无法据此直接接入。
观测字段也要打问号:原文在 Chat Completions 示例中读取 response.usage.input_tokens_details.cached_tokens,分母却用 response.usage.prompt_tokens。这里有不同响应结构混用的疑点,应以实际接口和 SDK 返回为准。
Gemini 的便宜读取,还要加上存储账单
原文称,Gemini 2.5 和 3.x 的隐式缓存命中后,输入折扣为 90%,没有存储费,但由系统决定保留哪些内容。
显式缓存则先用 client.caches.create 和 types.CreateCachedContentConfig 创建对象。示例模型是 models/gemini-3.1-pro-preview,通过 system_instruction、contents=[my_uploaded_pdf] 和 ttl="3600s" 保存内容;后续用 client.models.generate_content,通过 types.GenerateContentConfig(cached_content=cache.name) 引用它。
差别在于,显式缓存活着就可能持续产生存储费。
按原文 2026 年 10 月口径,Flash 档约为每百万 token 每小时 1 美元;Gemini 3.8 Flash 优惠价为 0.50 美元,持续至 2026 年 12 月 31 日,2027 年 1 月 1 日恢复为 1 美元。Gemini 2.5 Pro 和 3.1 Pro Preview 则为 4.50 美元。
于是,10 万 token 在 Flash 存一小时约需 0.05—0.10 美元;100 万 token 在 Pro 存 24 小时,就是约 108 美元。
显式缓存是否划算,要同时计算读取次数、保留时长和存储费用。
原文另一个例子称,50 页 PDF 连问 20 次,首次全价、后续 19 次读缓存,文档部分约省 95%。这个数字不严谨:即使假设读取免费,95% 也只是上限;若读取为原价的 10%,不计其他费用时实际节省 85.5%。而且问题分布在 10 分钟内,能否一直命中,还取决于具体 TTL 和刷新机制。
我的判断
我认同作者对请求结构的建议。稳定规则放前面,用户信息和当前问题放后面,工具定义按固定顺序发送,这些做法容易检查,也方便定位缓存未命中的原因。
但原文不是一份实测报告。它没有给出真实团队的账单对照、延迟测量或命中率分布。「工程成本约一小时」「六种问题覆盖 90% 的未命中」都属于经验判断,不能当成普遍结果。
那份避坑清单还有重复和方向问题。六类问题在原文中各出现两遍;「Today is 2026-11-24」也不会让每个请求都不同,同一天的固定日期仍可复用,逐请求变化的时间戳才更容易破坏前缀。原文建议把 A/B 变量放在缓存边界上方,也容易误导:如果变量位于稳定内容之前,仍会切碎前缀,应尽量把变化内容移到稳定块之后。
换模型同样需要重新观察。作者指出,从 Sonnet 5 切到 Sonnet 5.5 会进入新的模型缓存空间;自动缓存也不代表命中有保证。
此外,缓存不能代替缩短提示词、选择更便宜的模型或批处理。作者称多数 10,000-token 提示词可删掉 3,000 token,检索或分类任务可能使用价格约为 Opus 档 1/15 的 Haiku 档,这些都缺少对照数据。原文还称 OpenAI、Anthropic 的 batch API 可在 24 小时内处理任务、输入费用减半,并可叠加缓存;是否适用,仍需核对具体模型和计费条件。
能拿来做什么
- 在 Node 服务统一组装请求,把共用规则、固定工具定义放前面,把
userId、sessionId、当前时间和本轮问题放后面,并保证工具顺序与分隔符一致。 - 给多轮文档问答记录总输入、缓存命中、写入及存储费用,按实际接口字段统计,再判断缓存究竟省了多少。
- 调整提示词、切换模型或上线 A/B 配置时,观察命中比例和首次响应等待,确认成本变化来自哪里。
- 对一次性短请求优先精简输入;对不要求即时返回的任务,再评估 batch API,避免为了使用缓存而刻意堆长上下文。