银行开户审核如何接入多模态模型
文章以银行开户审核为例,讨论如何用 BPMN 编排多模态模型处理护照、身份证和地址证明等非结构化材料。模板 OCR 容易因版式或扫描质量失效,而让模型脚本直接写库会留下审计和人工升级处理的缺口。
AI 深度解读
银行开户要核对护照、身份证和地址证明。模板 OCR 遇到版式变化或反光容易卡住,把图片交给大模型后直接写库,又会让审批和追责失去清晰的记录。原文提出把多模态模型放进 Flowable BPMN 2.0,由模型抽取字段,流程引擎按规则决定自动建档、转人工或拒绝。
这套设计最值得程序员细看的是模型输出到业务写入之间的那段流程。0.92 的阈值、证件有效期和校验结果各管什么,哪些操作需要人工签核,都能在流程定义里找到。原文给出了架构和示例,也留下了几个会影响上线判断的空白。
模型交出字段,流程决定能不能建档
KYC(Know Your Customer,了解你的客户)要处理多种非结构化材料,包括护照、身份证、水电账单、税务身份证明和公司章程。作者称,依赖像素坐标的模板 OCR 遇到版式偏移、光线不足或折角时,最多有 40% 的材料会进入人工录入队列。原文没有交代这个比例来自哪批材料,也没有给出换用多模态模型后的对照结果。
按 Xenon 的架构设计,证件上传触发 Flowable 流程。MultiModalKycDelegate 调用视觉推理 API,抽出姓名、证件号和有效期等字段,再把结果和校验状态写成流程变量。BPMN 的排他网关(Exclusive Gateway)就是按条件选一条路走。置信度达标、证件未过期且 MRZ 校验通过,才进入自动建档。任一条件不满足,就生成合规复核任务。人工批准后也走建档节点,由 BIAN Party Service API 持久化客户主体记录。人工拒绝则进入单独的结束节点。
下面是原文的 kyc-onboarding-process.bpmn20.xml,它把模型抽取、人工签核和业务写入串在同一个流程里。
<?xml version="1.0" encoding="UTF-8"?>
<definitions xmlns="http://www.omg.org/spec/BPMN/20100524/MODEL"
xmlns:flowable="http://flowable.org/bpmn"
targetNamespace="BIAN/CustomerOnboarding">
<process id="kycMultiModalOnboarding" name="Multi-Modal KYC Onboarding" isExecutable="true">
<startEvent id="startEvent" name="Onboarding Document Uploaded" />
<sequenceFlow sourceRef="startEvent" targetRef="extractDocumentTask" />
<!-- Service Task executing Multi-Modal Vision AI Extraction -->
<serviceTask id="extractDocumentTask"
name="Extract ID Document via Multi-Modal AI"
flowable:class="com.xenon.banking.kyc.delegate.MultiModalKycDelegate" />
<sequenceFlow sourceRef="extractDocumentTask" targetRef="evaluateConfidenceGateway" />
<!-- Exclusive Gateway evaluating Confidence & Expiry Boundaries -->
<exclusiveGateway id="evaluateConfidenceGateway" name="Confidence & Validity Check" />
<!-- Path 1: Automated Approval (High Confidence & Valid Document) -->
<sequenceFlow sourceRef="evaluateConfidenceGateway" targetRef="createPartyAccountTask">
<conditionExpression xsi:type="tFormalExpression">
${kycConfidenceScore >= 0.92 && !isDocumentExpired && isMrzValid}
</conditionExpression>
</sequenceFlow>
<!-- Path 2: Human Compliance Escalation (Low Confidence or Data Anomaly) -->
<sequenceFlow sourceRef="evaluateConfidenceGateway" targetRef="humanReviewUserTask">
<conditionExpression xsi:type="tFormalExpression">
${kycConfidenceScore < 0.92 || isDocumentExpired || !isMrzValid}
</conditionExpression>
</sequenceFlow>
<!-- Human Task for Manual Compliance Review -->
<userTask id="humanReviewUserTask"
name="Human KYC Compliance Review"
flowable:candidateGroups="kyc_compliance_officers">
<documentation>
Review document extraction anomaly for Application: ${applicationId}.
Confidence Score: ${kycConfidenceScore}. Reason: ${extractionFailureReason}
</documentation>
</userTask>
<sequenceFlow sourceRef="humanReviewUserTask" targetRef="checkHumanDecisionGateway" />
<exclusiveGateway id="checkHumanDecisionGateway" name="Human Decision?" />
<sequenceFlow sourceRef="checkHumanDecisionGateway" targetRef="createPartyAccountTask">
<conditionExpression xsi:type="tFormalExpression">${humanDecision == 'APPROVED'}</conditionExpression>
</sequenceFlow>
<sequenceFlow sourceRef="checkHumanDecisionGateway" targetRef="rejectApplicationEnd">
<conditionExpression xsi:type="tFormalExpression">${humanDecision == 'REJECTED'}</conditionExpression>
</sequenceFlow>
<serviceTask id="createPartyAccountTask"
name="Persist Party Record in Core Database"
flowable:delegateExpression="${createPartyRecordDelegate}" />
<sequenceFlow sourceRef="createPartyAccountTask" targetRef="onboardingApprovedEnd" />
<endEvent id="onboardingApprovedEnd" name="Onboarding Approved" />
<endEvent id="rejectApplicationEnd" name="Onboarding Rejected" />
</process>
</definitions>
先看 kycConfidenceScore >= 0.92 所在的那一行,三个条件要同时成立。实际部署前还要补齐 <definitions> 上缺失的 xmlns:xsi 声明,因为条件表达式用了 xsi:type。
置信度过了 0.92,究竟说明什么
作者提出将三项指标合成文档置信度 C_kyc-total。第一项是模型对模糊、反光、裁边和数字篡改迹象的视觉判断。第二项是 MRZ(机器可读区)校验,用确定性的校验算法核对机器可读区字符与抽取字段。第三项是抽取字段的平均对数概率。三项权重之和为 1.0。原文把 0.92 列为典型阈值,未给出具体权重,也没交代如何把对数概率和其他指标变换到可加权的同一尺度。
Java 21 示例展示了另一套更简略的接法。它把 documentImageBytes 编码成 Base64,描述中用 Structured JSON Schema Outputs 约束返回格式,再用 HttpClient.send 向内部网关的 /v1/chat/completions 发起 POST,请求凭据取自 AI_GATEWAY_KEY。代码从 choices[0].message.content 解析 JSON,直接取 overallConfidenceScore,另外用 DateTimeFormatter.ISO_LOCAL_DATE 解析有效期,再用 validateMrzChecksum 校验 MRZ。示例中没有看到三项加权的实现,异常分支也在设置 isMrzValid 时截断。可见部分把置信度设为 0.0,意图是把失败交给人工处理。
复核员看到的失败原因同样影响效率。示例只为过期和 MRZ 不匹配设置了具体原因。如果单因低置信度转人工,展示出的逻辑会把 extractionFailureReason 设为 NONE。队列能接住这份申请,但复核员仍得自己找问题出在哪个字段。
人工复核和事后审计分别需要什么
人工界面把原件和抽取字段并排显示,用视觉模型返回的边界框高亮原件上的字段位置。原文用护照举例,姓名、证件号和到期日的置信度分别为 99.8%、99.5% 和 98.1%,总分为 99.1%。这是界面示意。它说明了复核员如何从字段跳回原件,也让人看出边界框是单独要交付的数据,光有姓名和分数撑不起这个界面。
另一份数据留给事后审计。原文提出逐份保存不可变 JSON 快照,把证件的 SHA-256 哈希与 Flowable ProcessInstanceId 关联,并记录 IdentityVerification 服务域、模型标识 xenon-vision-kyc-v1、抽取值、置信度和网关结果。示例中的 0.991 对应一次 AUTOMATED_APPROVAL。作者列出 Elasticsearch 和 S3 WORM 存储,但没有说明 Elasticsearch 一侧如何保证历史快照不被覆盖。
推理侧采用零数据保留(ZDR),按原文设计,图片在内存中处理,推理后清除,不保留训练日志。审计快照仍含姓名和证件号。两处的数据生命周期不同,评审时要分别追踪图片经过了哪里,以及哪些字段在流程、日志和审计存储里落了盘。
我的判断
我认同把建档权限交给流程。模型哪怕把一张过期证件读得很准,网关也会把它送去复核。相比直接写库的 AI 脚本,BPMN 把待办、签核结果和后续写入放在一条可追踪的流程里。已有任务队列、审批状态和审计记录的 Node 服务,也可以通过显式状态机实现这些约束。是否需要引入 Flowable,取决于团队是否需要统一管理跨角色、可挂起的审批流程。
0.92 只能当作示例参数。原文没给实测样本、阈值评估、误放率、人工转介率或延迟分布,「亚秒级开户」属于未经文中数据验证的主张。「完整合规」也缺少足够的实现和验证细节。还有一个直接的适用范围问题,示例要求 isMrzValid 为真,而文首列出的水电账单等材料没有 MRZ。要覆盖这些材料,得先按文档类型定义校验规则。对版式稳定的表单,已经在用的模板 OCR 也适合放进同一批样本里比较字段错误率和复核量。
能拿来做什么
- 在 Node 的文档导入链路里,把模型响应解析成有明确字段类型的对象,再单独执行日期、必填项和适用的校验规则。只有业务审批通过的记录才能调用正式写入接口。
- 做人工复核页面时,把抽取字段、原图坐标和转人工原因纳入接口。让复核员点姓名或证件号就能看到原图对应区域,提交时保存明确的审批结果。
- 用一批人工标注过的证件评估阈值,按文档类型统计错误放行数和转人工量。把
0.92放进待比较的候选值,并记录测试时使用的模型标识和规则版本。