缓存共享提示词前缀,推理月费降低四成
ArisGlobal 在 Amazon Bedrock 上运行 NavaX,通过缓存共享提示词前缀而非每个案例文档,将有效输入成本降低约 50%、月度推理总支出降低约 40%。该方案支持增加租户而不让成本同比例增长。
AI 深度解读
一段 Prompt 越写越长,最先想到的往往是删规则、换模型。ArisGlobal 这个案例给了另一条路:把缓存对象从每个病例的 PDF,换成跨请求重复的公共提示词前缀。他们报告的结果是,有效输入成本约降 50%,整体月度推理支出约降 40%。
关键改动只是调整请求顺序。但它能成立,依赖 Amazon Bedrock 的前缀缓存机制,也依赖足够稳定的内容和持续流量。对维护多租户 AI 应用的程序员来说,这比一句「开启缓存就能省钱」更有参考价值。
最大的输入,为什么未必最值得缓存
ArisGlobal 的 LifeSphere 面向药物警戒、监管事务、质量和医学信息等业务,整个系统运行在 AWS 上。其 AI 引擎 NavaX 于 2025 年 3 月将基于 Amazon Bedrock 和 Anthropic Claude 的首个生成式 AI 方案投入生产。按作者提供的内部遥测数据,系统已在受监管的制药环境中处理超过 100 万笔真实交易。
其中,Dynamic Data Extraction(DDE)agent 负责从不良事件报告中提取约 130 个字段,包括患者信息、可疑药物、事件时间线和监管分类。源文件通常是 10–200 页 PDF,一份病例需要多次顺序调用,每次提取表单的不同部分。
请求里有两类重复内容:系统规则、提取 schema 和示例组成的公共前缀,会跨请求、病例和使用同一 agent 的租户重复;PDF 则只在当前病例的几次调用里重复。客户专属规则也会随请求进入模型。
最初,他们把体积最大的 PDF 放在前面,并在文档之后设置缓存检查点。这样,同一病例的后续调用可以复用文档,但后面的公共规则每次仍按完整输入价格处理。
随着客户增加,字段映射、监管辖区要求、严重性判断规则和示例不断累积。6 个月里,公共前缀从约 72,000 tokens 增至 180,000 tokens,增长约 150%;单病例推理成本增加超过 200%。
缓存价值取决于重复范围和复用次数,不能只看内容大小。
一份大 PDF 只能服务一个病例,一段稳定规则却可能服务大量病例。原方案恰好把持续膨胀、重复范围更广的部分留在了缓存之外。
为什么只调换顺序,就能改变成本曲线
Amazon Bedrock 的 Prompt caching 缓存的是从请求开头到检查点的一段连续前缀,并非任意内容块。检查顺序为 tools、system、messages;前面的内容变化,会让后续前缀无法匹配。
他们的新方案把公共前缀放在最前面,随后设置一个显式检查点,再放病例 PDF 和当前提取问题。下面这段原文示意展示了这个顺序:
{
"modelId": "anthropic.claude-sonnet-4-5-20250929-v1:0",
"system": [
{
"text": "[Shared system instructions + compliance rules +
base extraction schema + few-shot examples]..."
},
{
"cachePoint": {"type": "default"} // <-- Checkpoint after the stable prompt
}
],
"messages": [
{
"role": "user",
"content": [
{
"text": "[Full adverse event PDF content — sits after the
checkpoint, not cached]..."
},
{
"text": "Extract fields for Section 5: Event Assessment"
// <-- Only this changes per request
}
]
}
]
}
要看的是 cachePoint 所在行:它位于公共 system 内容之后、病例文档之前。代码包含注释和跨行字符串,是结构示意,不能直接当成合法 JSON 提交。
这次调整放弃了单病例内的文档复用,换取公共前缀跨病例的复用。PDF 每次仍需处理,但增长最快的规则不必每次重新计费。
他们也可以在 PDF 后再加一个检查点,只是那样缓存的是「公共前缀加当前文档」的组合,仍然绑定单个病例。作者因此优先采用一个检查点,没有给出双检查点方案的成本对照。
缓存还有几个约束。受支持的 Claude 模型每个请求最多允许 4 个检查点,Claude Sonnet 4.5 的最小前缀要求是 1,024 tokens。默认存活时间(TTL)为 5 分钟,命中后重置;部分模型支持用 "ttl": "1h" 设置 1 小时 TTL,较长 TTL 的条目必须排在较短条目前面。
另一种简化缓存管理方式,会从检查点向前查找约 20 个内容块,寻找最长匹配前缀。稳定内容超出这个回看范围时,显式检查点更方便控制边界。
省下的钱,依赖什么样的生产流量
ArisGlobal 报告,典型请求中约 65% 的输入 tokens 来自公共前缀缓存;缓存生产请求的端到端延迟最多降低 25%,有效输入成本约降低 50%。在每月超过 190 亿 tokens 的规模下,整体月度推理支出约降低 40%,并新增约 15% 的企业租户,成本没有同比例增长。
这些数字口径不同。65% 是输入 tokens 的缓存占比;50% 是有效输入成本的降幅;40% 才是整体推理账单降幅。不能把其中一个当成另一个。
流量持续性也很关键。多数活跃账户每个租户约每 5 分钟有病例进入,多个租户并发运行,命中会刷新 TTL,因此工作时段的公共前缀容易保持可用。原文描述,生产流量期间缓存读取量一度约为写入量的 10 倍。
低频任务未必能复制这个结果。前缀经常过期、规则频繁变化,都会削弱收益。跨租户复用还要求公共前缀逐字节一致:时间戳、请求 ID、租户名称,甚至工具定义重排,都可能造成未命中。
他们原有的 EU geographic cross-Region inference 配置保持不变。不过,原文没有展开跨 Region 路由与缓存命中的具体分布,也没有给出逐项账单计算过程。
我的判断
这个案例最有价值的地方,是把成本问题落到了请求结构上。规则长到 180,000 tokens,固然值得审视,但先看哪些内容被反复处理,往往比立刻更换模型更直接。
公共前缀能否稳定复用,比有没有缓存开关更重要。
这里也有一个没讲透的地方:原文说客户专属规则推动了公共前缀增长,又建议把租户标识等动态内容放到检查点之后。不同租户的专属规则最终如何拆分、哪些示例真正共享,文章没有说明。普通团队不能仅凭「大家使用同一个 agent」就认定请求前缀相同。
效果数据来自 ArisGlobal 向 AWS 提供的生产指标,有实际账单和流量支撑,但文章没有提供完整对照实验。相较于双检查点、压缩 Prompt、按需检索规则等方案,它证明了这次调整对他们有效,没有证明这是所有团队的最优解。
药物警戒场景的质量要求也不能被成本数字遮住。原系统使用 Amazon Bedrock Guardrails 过滤内容、检测或遮蔽敏感信息,并校验提取 schema、核对源文档。文章没有报告此次调整前后的提取准确率。省钱收益明确,质量是否完全一致,证据尚不充分。
能拿来做什么
- 给现有 AI 请求标出公共规则、租户规则、文档和当前问题,逐段确认复用范围,再决定检查点位置。不要直接把最大的内容放到最前面。
- 如果 Node 服务正在拼装 Bedrock 请求,把稳定工具定义、系统指令、schema 和示例放在前面,将时间戳、请求 ID 和租户动态信息移到检查点之后,同时固定工具顺序。
- 为实际调用记录缓存读取、缓存写入和总输入 tokens,并结合账单看收益。原文以正常的 65% 缓存占比作为监控基线,提醒团队不要机械套用 80% 的告警阈值。
- 对同一文档的连续提取任务,在输出上限和 schema 要求允许时合并问题,减少未缓存文档的重复处理。低频业务则先核实模型是否支持 1 小时 TTL,再评估收益。