银行用模型评审自动生成AI风控证据
标准银行集团与AWS专业服务团队合作,在自有AWS账户中构建生成式AI风险评估系统。系统利用Amazon Bedrock上的模型评审,按国际AI标准和内部政策为用例评分,为审批提供一致且可追溯的证据。
AI 深度解读
生成式 AI 应用几天就能搭出来,风险审批却可能卡上两周。Standard Bank Group 和 AWS 做的事,是把搜集材料、检查规则、调用应用测试这些工作串成自动化流水线,让风险委员会拿着统一证据做判断。
原文给出的结果是:在六次评估中,过去依赖人工的两周审查,被压缩为约两小时生成一份完整风险报告。但它真正值得程序员借鉴的,不只是速度,而是怎样把写在文档里的 AI 政策变成可以反复执行的检查,以及怎样约束负责检查的模型。
自动化的是取证,审批仍然交给人
Standard Bank Group 已有模型风险管理和变更风险流程,覆盖可解释性、公平性以及上线前的风险分级。他们没有另建一套审批制度,而是把自动化评估接到现有流程里。
这很关键。生成式 AI 的模型和工具每三到六个月就可能变化,安全与合规要求却不会因此降低。如果每次变化都靠人重新翻文档、找代码、手动测试,审批工作就很难跟上交付速度。
他们选择先统一证据,再保留人工判断。整套评估运行在银行自己的 AWS 账户里:AWS Well-Architected Tool 负责收集用例信息,AWS Step Functions 编排流程,Amazon Bedrock 上的基础模型负责评估,文档、代码和测试结果保存在 Amazon S3。
入口是 Well-Architected Tool 的自定义 lens,可以理解为一份结构化风险问卷。它包含约 40 个问题,分别对应技术文档不完整、人工监督不足等风险事件。
运行在 AWS Fargate 上的预评估 agent 会扫描代码仓库和文档,寻找相关文件,预填答案并附上证据链接。交付团队随后核对、纠错,补充 agent 没找到的材料。
自动化负责把证据准备齐,风险委员会负责决定证据是否足以支持上线。
这比让模型直接回答「能不能上线」更容易审查,也更符合已有审批流程的责任划分。
为什么既要读代码,还要实际调用应用
流水线检查四类证据:系统设计与评估文档、规定职责和处置流程的政策文档、源代码与 system prompt,以及应用实际生成的回答。
前面三类说明团队设计了什么,最后一类检验系统运行时做了什么。文档写着「拒绝越权请求」,并不能证明真实应用遇到这类请求时一定会拒绝。
因此,流水线会通过应用的 AWS Lambda function 或 API 发起测试。交付团队提供典型用户问题,系统再加入内置的 jailbreak 尝试和偏离主题的问题,检查应用是否按要求拒答。
它还会把同一个问题重复发送,并换一种表述再问,通过 Amazon Bedrock 上的 embedding 模型比较回答的语义一致性。这里比较的是意思是否接近,不要求每次生成完全相同的文字。如果团队提供了预期答案,流水线也会衡量实际回答与预期的接近程度。
每次回答都会存进 Amazon S3,供评审人员回看。这样,一条风险发现可以追到具体输入和输出,而不只是看到一个分数。
负责评估的模型通过 AWS Identity and Access Management(IAM)控制访问。原文说明,Amazon Bedrock 不向模型提供商共享银行的提示词与模型输出,也不使用它们训练模型。团队还能通过统一 API 接入不同基础模型,通过配置切换新的评审模型。
不过,模型切换方便,不代表新旧模型的判断天然一致。原文没有提供替换评审模型后的结果对比。
怎样避免评审模型自己变成黑箱
他们采用 LLM-as-a-judge,也就是让大模型按指定条件检查证据。模型直接使用,没有微调或定制;可选模型因 AWS Region 而异,部署前需要确认区域支持情况。
约 40 个风险问题下面,还会展开更细的检查。加上银行内部标准生成的问题,总计超过 300 项,覆盖 AWS 的八个负责任 AI 维度。提供的原文没有展开这八个维度的表格,无法据此逐项核对覆盖范围。
评审方式刻意收窄:每项检查都对应标准或政策中的具体控制要求,模型只回答 yes 或 no,例如事故处置程序里是否写明了报告方式。
随后由固定公式计算风险。原文把模型未找到的必需证据占比作为 likelihood 分数,再结合风险团队可调整的固定严重程度,得到从 Very low 到 Critical 的评级。每项证据缺口还会关联整改措施,以及对应的标准或政策条款。
这里要区分两个概念:缺少多少证据,不等于真实事故有多大概率发生。原文采用前者参与评分,但没有说明两者之间经过了怎样的校准。
为了检查模型输出,团队对每次评估重复运行,观察回答是否一致,并在评审界面标记不一致的发现。每条判断连同证据一起保存。所有模型交互还经过 Amazon Bedrock Guardrails,筛查有害内容与操纵模型的尝试。
Guardrails 提供安全防护,重复运行检查稳定性,证据留存支持追溯。它们各有作用,但都不能单独证明模型判断正确。
结果最终生成管理层演示材料、整改清单、详细技术报告,以及跟踪不同用例评分变化的 Amazon CloudWatch 仪表盘。评审人员通过支持单点登录的界面确认发现,也能附上业务理由修改答案或改写输出。
内部政策则通过 question factory 转为额外检查题。政策更新后,后续评估执行更新后的规则。这个做法把政策维护和测试维护连了起来,但原文没有交代生成题目的人工验收方式,也没有公布题目的准确率。
我的判断
我认可它把政策要求、检查题、运行证据和整改动作连成一条可追溯链路。相比只提交一份自查报告,这种方式让评审人员更容易定位问题,也给交付团队提供了明确的修改入口。
但两组结果需要按原文的边界理解:约两小时指生成完整风险报告,不能据此认定全部审批在两小时内完成;六次评估说明方案已经跑通,尚不足以判断不同规模、不同风险用例的长期收益。
原文还报告整改后用例风险评分改善了 14%,却没说明聚合口径,也没给出与真实事故、人工专家结论的对照。它首先证明的是这套量表上的改善。
证据缺失率适合帮助排查缺口,不能直接当作真实风险发生概率。
对一般团队而言,另一个前提是已有较成熟的政策、风险分级和审批责任人。模型可以帮助检查材料,却无法替团队决定哪些风险可以接受。对于明确、机械的条件,规则检查或普通测试往往更直接;LLM 更适合处理散落在自然语言文档中的证据。原文没有提供两种做法的成本与准确率对照。
还要分清当前能力与后续计划:系统已在生产环境中评估待上线用例,构建阶段必须评估,概念验证阶段可以自愿使用;接入线上工作负载后,按计划或代码、配置变更触发持续重评,仍是原文描述的后续安排。它也明确不提供法规合规认证,监管判断仍由银行负责。
能拿来做什么
- 给现有 AI 应用列一份小规模证据清单,把每条要求对应到文档、代码或实际回答。例如要求拒答越权问题,就同时检查 system prompt 和真实 API 输出。
- 在 Node 服务或其他应用 API 外建立可重复运行的评估脚本,覆盖典型问题、越狱尝试、偏题问题和同义改写,并保存输入、输出及关联证据,方便人工复核。
- 使用 LLM 评审时,把问题收窄为能核对证据的判断题,保留判断依据,并对重复运行结果不一致的项目安排人工检查。
- 把评估提前到概念验证和构建阶段;准备接入变更触发机制前,先明确哪些规则由程序检查、哪些材料由模型审阅,以及最终由谁接受风险。