企业智能体上线的三阶段治理路线
AWS 将企业智能体落地拆成治理打底、试点部署、评估与加固三个阶段,并说明各阶段应落实哪些负责任 AI 原则、何时重新审视这些要求。
AI 深度解读
一个客服 Agent 能查内部知识库、调工具,还能把结果发给客户。模型哪怕只误判一次,后续服务也可能照着错误结果执行。AWS ML Blog 给平台团队和应用团队设计了一条可调整的 12 周路线:先划定数据和操作权限,再用首个试点验证这些限制,最后把评测接进发布流程。
这套路线最值得借鉴的是分工。平台提供权限、护栏和追踪能力,应用团队决定哪些业务动作可以自动执行、什么时候必须交给人。两边的责任都明确了,评测失败时才知道该改哪一层。
第一阶段先定权限,Agent 才知道能碰什么
传统的负责任 AI(Responsible AI,RAI)主要围绕模型训练、测试和推理。Agent 会在多轮交互中根据上下文临时选工具,把输出传给其他 Agent,还可能执行写操作。于是,一次错误能影响多少系统,取决于下游是否复核,以及调用链上的每个身份拥有哪些权限。作者提到,一家德国金融服务公司的多 Agent 编排曾把一次误分类放大成三个下游服务的策略违规。
第一阶段聚焦治理、安全与隐私。应用团队按用例把风险分为 Low、Medium、High、Unacceptable,并记录每档要满足的控制和留痕要求。平台团队搭好统一日志和访问控制,盘点哪些知识库可以共享,哪些会话数据和业务上下文要按租户隔离,再逐项划定读写权限。特权应绑定具体任务,由系统发放,Agent 自己无权修改。
模型在接入前要做安全性和可靠性审核,获批后按能力、延迟和成本登记。Agent、工具和技能也要进统一注册表,写清负责人、风险等级和适用的监管范围。注册表解决的是一个日常问题:出了故障,团队能查出相关资源归谁管、被哪些工作流使用,以及该按什么风险级别处理。
第二阶段让首个试点证明护栏能拦住什么
试点要选一个能衡量业务价值的用例,把安全、真实性与稳健性、可控性落实到实际调用链。以个人可识别信息(PII)为例,平台提供覆盖模型输入、输出和工具调用的脱敏规则,应用团队按业务设置内容审核阈值,并为低置信度结果安排人工接手。工具权限还要细化到允许的操作和知识源。遇到策略拒绝,应用得有明确的回退路径。原文也建议让用户查看和撤销授权,包括授予子 Agent 的权限。
检索到正确的资料,模型仍可能误读或编出细节。作者建议检查回答是否有相关资料支撑,并为受监管用例加入 Automated Reasoning,核验结果是否符合写明的规则。银行示例把这两种检查分得很清楚。评分 Agent 用 Amazon Bedrock Knowledge Bases 获取贷款规则,再直接向源系统核对关键申请数据。AWS Identity and Access Management(IAM)约束各 Agent 的工具权限,Amazon Bedrock AgentCore 的 Policies 进一步把评分 Agent 限在获批客群的只读访问范围内。向客户发送消息前,Amazon Bedrock Guardrails 会处理其中的 PII。
示例里,拒贷结果若未拿到 VALID,比如返回 SATISFIABLE 或 TRANSLATION_AMBIGUOUS,就要在通知客户前转给信贷专员。风险分落在阈值附近,例如 ±5 分,也走同一条人工复核路径。系统记录每次升级的触发原因。规则检查能回答「决定是否符合写明的条件」,而回答「为什么作出这项决定」还需要知道当时用了哪些数据、触发了哪些规则。
第三阶段把公平性和审计接进发布流程
单个模型的公平性评测只覆盖调用链的一部分。即便模型通过基准测试,Agent 仍可能对不同人群选择不同的工具、走不同的转人工路径,或分配不同的资源。原文建议先查模型卡缺不缺公平性指标,必要时用 Compositional Evaluation Benchmark(CEB)或 Holistic Evaluation of Language Models(HELM)补测,再按人群评估端到端流程。模型或知识源更新后继续测,用同一套指标观察是否发生漂移。
解释性和透明度也需要落到数据上。平台在会话、追踪和 Span 三个层级采集结构化遥测,记录工具调用、护栏触发以及访问身份,汇入覆盖运营和成本的 360 度观测面板。银行示例用 Amazon Bedrock AgentCore Observability 将 OpenTelemetry Span 汇成一条分布式追踪,方便审计或申诉时复盘。对外则要说明 AI 参与了哪些环节,为可复用输出附上机器可读的来源标签,并能用普通语言解释某个动作或建议。
银行示例还让 Amazon Bedrock AgentCore Evaluations 在每次推送时运行。评测分数低于发布线,或某个人群的公平性指标漂移超限,CI/CD 就阻止部署。上线后可以按日、周或月复查,还要在更换模型、修改系统提示词、接入新客群或发现新风险时重评。作者配套的 Responsible AI Assessment Skill 可在 Amazon Quick、Kiro、Claude Code 和 Codex 中使用,按 1–5 分评估。低于 4 分建议整改,4 分及以上的剩余风险仍要逐案确认。
我的判断
这篇最扎实的建议是让下游直接复核关键数据。上游输出即使通过了 JSON Schema 校验,字段值仍可能抽取错误。对于会触发业务动作的字段,源系统复核能在错误扩散前截断调用链。权限控制也一样,把只读限制放在工具或服务端授权层,由执行方强制检查,比单靠系统提示词约束更可靠。
12 周是可调整的排期。银行案例中的 ±5 分、60 天内累计 2,000 次一致判定后改用申诉事后复核,都是示例参数。原文没有给出银行案例的对照结果,也没交代如何验证这 2,000 次判定的真实质量。Robinhood 在 Amazon Bedrock 上做金融犯罪 Agent,原文称其在维持合规的同时获得了 20% 的效率提升,但没有给出效率口径或对照组,无法据此推算这套三阶段路线能带来多少收益。
对只有一个低风险试点的团队,我会先保留权限表、人工接手条件和可回放的调用记录。统一注册、分人群发布门槛和定期审计的投入,可以按用例风险和共享组件规模决定。用问卷打分适合找缺口,真正决定能否上线的,还是业务动作能不能被约束,以及团队能否拿出证据证明约束生效。
能拿来做什么
- 给 Node 工具调用入口加服务端授权检查,用当前用户、租户和任务校验读写权限,并在评分或审批前回源核对关键字段。
- 给需要人工审批的前端流程加上明确的待复核状态,保留触发原因和调用记录,复核通过后再发送客户通知。
- 把越权调用、知识库更新和转人工等场景做成可重复运行的评测。风险较高的用例可以先选一条实际业务标准接进 CI/CD,低于门槛就暂停发布。