Textract 新增自然语言文档字段提取
Amazon Textract Insights 正式开放,开发者可用自然语言描述字段,从单份文档或混合文档包中获取结构化结果,无需训练模型。每个提取值均附带置信度和页级来源定位。
AI 深度解读
Amazon Textract Insights 想解决的,是把一整包杂乱文档变成可核查的业务数据:你描述要哪些字段,它负责拆分、匹配和提取,并给每个结果附上置信度与来源位置。AWS 在原文中宣布这项功能正式可用,无需训练模型,通过新的异步 API 调用。
它值得关注的地方,是把「答案从哪里来、哪些需要人工检查」纳入了接口。对需要处理票据、表单和扫描件的团队,这可能减少流程拼装工作;但能省多少人工、准确率提升多少,原文还没有给出对照数据。
一包混合文档,为什么比识别文字更难
真实业务收到的文件,经常不是一张格式固定的表单。原文举了一份房贷材料:一个扫描文件里,混着 W-2 工资税表、工资单、银行流水和手写备注,排版不同,顺序也不固定。理赔材料、入职资料也有类似问题。
OCR,也就是光学字符识别,只解决其中一步。识别出文字以后,系统还得判断哪些页面属于同一份材料、它是什么类型、该取哪些字段,以及结果是否需要人工复核。
常见做法有两种。自己搭流水线,把 OCR、拆分、分类、基础模型提示词和审核串起来,控制力较强,集成和运维工作也归团队承担。直接交给通用大语言模型,接入可能更快,但原文认为,这类方案不能稳定提供来源页码和置信度,自动放行就缺少依据。
Textract Insights 把这些环节收进一个托管的异步请求。它改变的是团队需要维护的流程边界:应用提交文件与提取规则,再消费结构化结果。
至于托管之后是否比自建更准、更便宜,文章没有证明。
Blueprint 怎样把业务需求变成提取规则
提取规则放在 blueprint 中。它是一份 JSON Schema,每个字段附带自然语言描述,说明要找什么;同时指定 inference type,区分从页面直接读取,还是根据文档内容推导。
例如,页面上印出的金额属于直接读取;需要结合上下文才能得到的字段属于推断。两者都能返回结果,但业务审核时不能把它们当成同一种证据。
AWS 提供 W-2、Form 1040、Form 1098、护照和出生证明等公共 blueprint,也允许团队编写自己的版本。面对混合材料,需要把预期文档类型对应的 blueprint 加进同一个 project,再启用 splitting。
原文的具体例子是一份 26 页 PDF,包含 W-2、工资单、银行流水和贷款专员的手写备注。团队使用公共 W-2、工资单、银行流水 blueprint,再补一个手写备注的自定义 blueprint,通过 StartDocumentInsights 提交 Amazon S3 中的文件。
服务随后拆成逻辑子文档,匹配适用的 blueprint,提取字段,把结果写回 S3。单个提交文件最多支持 3,000 页。
这里的「无需训练模型」不等于无需配置。团队仍要描述字段、准备预期类型、验证拆分效果,并检查推断字段是否符合业务口径。原文没有解释:遇到未配置类型、多个 blueprint 都可能匹配,或者拆分错误时,服务具体如何处理。
可核查靠来源位置,自动放行还得靠验证
Textract Insights 对直接读取和推断得到的字段,都返回 confidence score,以及 grounding。后者可以理解为来源定位:标出相关页面与 bounding box,也就是页面上的矩形区域。
这对审核界面很实用。审核员可以从结构化字段跳到原始页面,检查对应区域,不必重新翻整份扫描件。
有来源位置,能降低核查成本;它不能直接证明结论正确。
尤其是推断字段,定位到一段文字,只能帮助检查依据是否充分。原文没有展示多处证据如何关联,也没有说明复杂推断如何呈现。
置信度同样需要验证。AWS 建议用自己的代表性文档样本调阈值,达到阈值的值自动接受,其余交给人工。这里不能跳过的一步,是核对分数与实际错误率的关系,尤其要观察高分错误。
原文引用了 Symbeo 的评估反馈:他们的医疗账单和表单来源多、版式不同,希望用自然语言描述字段,并将审核精力集中到低置信度结果。不过,这段反馈没有给出样本量、准确率或节省工时;对自动拆分,也仍是希望进一步探索。
接入时还要分清两个产品层次。底层 Amazon Textract Core 更新了读取引擎,改善密集表格、手写内容的处理,并让 DetectDocumentText、AnalyzeDocument 扩展到 40 种语言,既有 API 无需修改。Insights 的处理语言则只有英语、法语、德语、意大利语、葡萄牙语和西班牙语,不能把 Core 的语言覆盖直接套过来。
Core 新增 Asia Pacific (Tokyo) 和 Europe (Zurich),区域内处理覆盖共 18 个 AWS Regions,但原文明确说 Insights 尚未在这两个新增区域提供。Insights 会在请求所属地理范围内自动选择推理区域,例如美国发起的请求在美国境内处理;Core 仍在调用指定的 AWS Region 内处理。
加密配置也分层。project 和 blueprint 默认使用 AWS owned keys,可在 CreateProject、CreateBlueprint 的 EncryptionConfiguration 中指定 AWS KMS customer managed key。作业中间数据要在 StartDocumentInsights 请求中单独配置,project 的密钥不会自动应用到作业;中间数据完成后删除,最终结果使用输出 S3 bucket 的默认加密。禁用密钥或撤销访问权限,会使服务无法继续使用对应加密数据。
我的判断
我认可这次产品设计的重点:文档自动化需要交付可复核的数据。来源位置、字段置信度和人工审核入口,比单纯生成一段流畅回答更贴近业务系统。
但「可核查」与「准确」之间仍有距离。原文没有公开准确率、置信度校准结果、延迟,也没有比较自建流水线和通用模型的成本。关于自动化程度提升,目前应视为产品主张与客户初步经验。
相对自建流程,托管 API 的吸引力在于减少组件集成和维护;代价是拆分、匹配与推理的内部控制细节较少。现有系统若只有固定模板和少量字段,是否值得迁移,仍应拿实际材料比较。
国内团队还有一个直接限制:原文列出的 Insights 语言中没有中文。它支持 PDF、PNG、JPEG、TIFF,按页计费、没有最低承诺,但未给具体价格。面向中文业务材料时,不能只凭「支持扫描件」就判断适用;跨区域推理范围和完整处理成本,也要在选型时核实。
能拿来做什么
- 如果正在用 Node 接入多种票据或表单,可以先选一类原文支持语言的真实材料,按「定义 blueprint、创建 project、从 S3 提交、审核结果」跑完整流程,验证字段含义和拆分结果。
- 前端审核页可以围绕字段值、置信度、来源页码和 bounding box 组织交互,让审核员点击字段即可查看原文,并明确区分直接读取与推断字段。
- 用代表性样本调自动放行阈值,同时记录高分错误和低分正确的情况。先确认置信度是否能帮助分流,再决定扩大自动化范围。
- 比较方案时,把按页费用、人工复核、失败重试和现有流水线维护一起计入成本;接入前核对处理语言、推理地理范围,以及 project、作业和输出 bucket 的加密配置。