金融多租户 Agent 如何降低上下文开销
Duco 基于 Amazon Bedrock 与 AgentCore 重建 Agent 系统,结合租户隔离、多模型策略和 MCP 技能架构。据案例披露,上下文开销减少 90%,对账部署提速十倍,接入成本下降 70%。
AI 深度解读
给金融机构做 AI Agent,难点不只是模型能不能读懂数据,还包括银行之间的数据怎么隔离、几百个工具怎么接入,以及出了问题能不能追溯。Duco 的案例把这些问题放到了一套生产架构里:用 Amazon Bedrock 接模型,用 Amazon Bedrock AgentCore 托管 Agent,再通过 MCP 按需加载工具能力。
最值得程序员借鉴的,是他们把约 200,000 tokens 的上下文压到了约 20,000 tokens。不过,上下文缩减、对账上线提速和银行客户的成本下降,属于不同层面的结果,不能直接画等号。
从传统机器学习转向 Agent,解决的是变化太多
Duco 每月处理 200 亿笔交易,服务超过 200 家客户,包括全球前 20 大银行中的 7 家,以及前 20 大资产管理机构中的 10 家。此前,他们已经通过传统机器学习,帮助银行整合和自动化超过 20,000 个流程。
旧方案能做预测标注、识别已有模式,但需要大量历史训练数据,新场景还得额外定制。金融运营里的文件格式、字段命名和业务规则持续变化,模型学过的模式,很难覆盖下一批陌生配置。
因此,Duco 想增加的能力,是理解输入、查找相关信息、调用业务工具,再组织出可供决策的结果。
Amazon Bedrock 提供统一 API,原文列出的模型来源包括 Amazon Nova 2 系列、Anthropic、OpenAI、Cohere、Meta 和 Mistral AI。AgentCore 则负责运行 Agent。Duco 已经在生产中使用 LangChain 和 LangGraph,多数代码可以继续运行,减少了迁移工作。
这里有个信息缺口:原文强调按任务选择模型,但具体分工部分只留下了 Anthropic Claude Opus 的名称,没有交代角色、其他模型配置或对照结果。因此,可以确认架构支持切换模型,无法据此判断怎样搭配最划算。修改配置参数可以切换模型,也不代表切换后无需重新评估效果。
银行之间的隔离,要落实到每次工具调用
Duco 的多租户方案相当重。各租户共享 VPC 和 Amazon EKS 集群,通过独立 namespace 与网络策略隔离;但数据库、存储桶、密钥和身份系统各有一套。
具体包括 Amazon Aurora MySQL、Amazon S3、AWS KMS、Amazon SES、Amazon SQS、Amazon ElastiCache 和 Amazon Cognito user pool。每个租户还有独立的自动扩缩容,减少某家银行的高负载对其他客户造成的影响。
Agent 层同样按租户拆分:每家银行拥有自己的 AgentCore runtime、AgentCore Gateway 和 MCP servers,再结合 AgentCore 的会话隔离,避免跨客户共享记忆、上下文和工具。
身份校验则贯穿整条调用链:
- 用户请求携带租户 Cognito user pool 签发的 JWT,AgentCore runtime 的入站授权器先校验,再运行 Agent 逻辑。
- Agent 通过租户专属 Gateway,访问运行在 Amazon EKS 中的容器化 MCP 服务。
- 用户身份继续传到下游,MCP server 同时验证 Agent 和用户身份,按该用户的权限执行操作。
工具是否可调用,最终由服务端权限决定。
私有网络补上另一层约束:Bedrock 和 AgentCore 的流量通过私有端点留在 AWS 网络内;各租户 runtime 使用 VPC network mode,网络接口位于私有子网,出站流量受 security groups 管理。
对普通团队而言,值得借鉴的是这条完整的权限链。给每个客户复制整套基础设施,是否值得,则取决于隔离要求和成本承受能力。
300–400 个工具,为什么只先给模型三个入口
每个租户通过 Gateway 暴露 300–400 个工具。最初,工具描述在任务开始前就占了约 200,000 tokens。对话继续增长后,团队观察到回答质量下降,模型更容易丢失前面的推理线索。
他们没有仅凭感觉改架构,而是强调先做评估。解决方案也很直接:把工具说明从常驻上下文中搬走,需要时再取。
Duco 借助 MCP resource types 划分了三类资源:
skill://保存按需读取的工具能力说明。system://保存运行时组合的动态系统提示词片段。ui://保存界面专用资源,与业务操作工具分开。
Agent harness,也就是包在模型外面、负责组织执行的程序,提供三个元工具:load_skill 加载能力说明,find_tool 查找相关工具,invoke_tool 执行选定工具。
模型先知道有哪些能力,再逐步获取细节。配合限制工具返回内容的大小,主上下文降到约 20,000 tokens,缩减约 90%。
这还照顾了 prompt caching。系统提示词与三个元工具构成较小、稳定的静态前缀;技能内容加载到对话里,而不是修改工具列表,避免因加载技能使缓存失效。
原文称,同样的模型、工具和任务下,评估确认回答质量改善,且无需改动底层基础设施。但没有公开评估集、指标和具体分数,改善幅度无法独立判断。
工具接入也采用延迟发现。新微服务部署时,其 MCP server 被注册为租户 Gateway 的目标;Agent 启动时建立工具注册表,只把工具名称提供给模型,详情交给 find_tool 获取。
这里的边界是「启动时」。原文支持新增服务后无需重新部署或重新配置 Agent,没有说明已经运行的会话能否立即发现新工具。
我的判断
我认为,这个案例最有价值的部分,是把上下文、身份和执行边界一起设计。工具越多,越需要控制模型每次看到什么;操作越敏感,越需要下游服务独立授权,并留下审计记录。
相比一次性塞入全部工具 schema,按需加载降低了常驻上下文,也保留了稳定的缓存前缀。代价是增加查找和加载步骤,工具命名、技能说明和检索质量都会影响结果。原文没有给出延迟、调用轮数或总费用的对照数据,因此不能认定整体一定更快、更便宜。
业务收益也要分开看。Duco 报告新对账流程部署速度提升至原来的 10 倍;一家全球银行的新对账接入成本下降 70%,直通处理提升超过 20%。直通处理可以理解为流程不需要人工介入就完成,但原文没说明这个 20% 是相对增幅还是百分点变化,也没有公开基线和统计周期。
这些结果来自整套流程改造,包括理解文件、转换旧配置、解析多年以前的电子表格宏,以及优化匹配和分配规则。不能把它们全部归功于 AgentCore,或那次 90% 的上下文缩减。
异常调查的职责边界更值得保留:Agent 聚合同类异常、查询是否已知、追查源数据、整理原因和建议,再交给分析师决定。高风险动作需要明确授权,每次决策进入审计链。原文提及 SOC 2、DORA 和数据驻留控制,但没有提供足以判断每家机构具体合规状态的信息。
至于跨金融机构的 Agent 协作,目前属于架构方向,不能当成已验证的业务成果。
能拿来做什么
- 如果你的 Node Agent 已经挂了大量工具,可以先统计工具描述和返回内容各占多少 tokens,再尝试用
load_skill、find_tool、invoke_tool这样的入口按需加载,并用同一批任务比较正确率、延迟和费用。 - 如果正在做多租户 AI 应用,可以检查用户身份是否一直传到了实际执行操作的服务,并由服务验证用户权限与 Agent 身份,避免只在入口完成一次鉴权。
- 如果工具来自多个微服务,可以参考启动时建立注册表的方式,让工具随服务部署接入,同时明确存量会话何时刷新能力。
- 如果准备让 Agent 调查业务异常,可以先交付「证据、可能原因、处理建议」这类可复核结果,再由人审批高风险动作,并记录工具调用与最终决定。