送货单识别翻车源于图片细节设置
上线后,视觉模型在低细节模式下丢失了送货单的小字与手写信息,输出仍填满字段,出现数量错误和虚构批次号。作者通过提高图片细节、裁剪照片和补充测试集来处理问题。
AI 深度解读
司机拍下签收单,模型负责提取订单号、数量和破损备注。上线第一周,调用成本低于预期,随后投诉来了。模型编出了批次码,还把手写的「2 bags split」读成「2 bags」,漏掉了两袋破损的信息。返回结果里,每个字段照常填满,也没有提示照片看不清。
问题出在图像请求的 detail 设置。作者追查到,low 会让模型看到一张 512 × 512 像素的缩略图。做单据识别时,真正该验收的是缩小后的图里,业务需要的每个字段还能不能读清。
原图有 1200 万像素,模型能看到多少?
按作者描述,OpenAI API 的 detail: "low" 会给模型一份 512 × 512 像素的图像副本,并使用固定、较少的图像 token。原图拍得再清楚,模型能用来辨认文字的仍然是缩小后的像素。
一张 1200 万像素的 A4 单据照片缩小后,印刷标题和大字号订单号可能还看得清,小字批次码和手写备注就容易丢。要是单据本来只占照片一角,缩小之后留给文字的像素就更少。作者也提到,其他供应商会缩小大图,具体尺寸各有不同。512 × 512 是原文给出的 OpenAI API 低细节输入尺寸。
为什么办公室的扫描件测不出这个问题?
测试用的是办公室里平整、裁过边的扫描件,整张图几乎都是纸。上线后,司机发来的照片可能拍进整个驾驶台,签收单只在角落里。同样是缩到 512 × 512,前一种图把大部分像素留给了单据,后一种图把不少像素花在了周围环境上。
这个差别还会被返回结果掩盖。订单号可能读对了,批次码却是猜出来的,两个字段在结果里都填得好好的。「2 bags split」被读成「2 bags」也一样,数量留下了,破损信息消失了。只检查 JSON 能否解析、字段有没有值,发现不了这类错。
裁图、调高细节和留空分别解决什么?
作者给出的做法是先把照片裁到纸面,再给单据用 detail: "high"。裁图让单据占据更多画面,高细节设置用来保留细字所需的信息量。对于「这是不是一张托盘照片」这类只需要辨认大物体的任务,作者保留 low。
作者还建议,用真实司机照片做测试,并要求模型把看不清的字段留空。留空让下游有机会把这一项交给人工核对。原文没有交代模型能多可靠地判断自己看不清,这条规则也需要单独验证。
我的判断
最有说服力的是测试图和上线图之间的差异。同一套抽取逻辑,在扫描件上表现好,只能说明它能处理那类输入。原文讲了上线后出现的错误,但没有给出裁图前后、low 和 high 之间的逐字段准确率或成本对照。哪种组合最划算,仍是待测的经验判断。
如果已有 OCR 流程,也可以把它放进同一批实拍样本里比较。我会重点看批次码是否逐字符匹配、破损备注是否保留完整,以及读不清时是否会填入一个貌似合理的值。原文没有提供 OCR 对照,选型要靠自己的样本。
能拿来做什么
- 在前端的单据拍照确认页提供裁边和预览,让用户能在提交前发现单据只占画面一角,或手写备注已经看不清。
- 在 Node 服务里用同一批真实照片对比整图和裁图、
low和high,记录各组合的调用成本、逐字段错误率和留空率。 - 在抽取接口里允许批次码和破损备注返回空值,把这些记录送去人工核对,并用模糊小字和残缺手写的样本检查模型是否仍会猜填。