用字段级评测识别抽取结果的误填
在 20 份美国《联邦公报》通知上,Gemini 的输出全部符合 JSON Schema,120 个字段值有 116 个正确,但误填了 4 个应留空的字段。文章建议用自己的文档逐字段比较大模型、正则和发布方数据,再按字段选择方案。
AI 深度解读
Gemini 从 20 份美国《联邦公报》公告里抽取 6 个字段,20 条回复都通过了 JSON Schema 校验,120 个值答对了 116 个。作者仍判它未通过,因为有 4 个本该留空的字段被填上了值。其中一个日期确实出现在原文里,却属于另一份公告。
如果你的接口已经能稳定接收模型返回的 JSON,接下来该测的是每个字段能不能用。作者把模型、正则和发布方 API 放到同一份答案表上评分。同样是 58/60,漏掉两个值的 API 过了,被两个多填值拖累的 Gemini 没过。
日期合法,还得看它属于哪份文档
作者先用提示词要求模型直接返回 JSON,再交给 json.loads。google/gemini-2.5-flash-lite 的 20 条回复全带 Markdown 代码围栏,解析全部失败。去掉围栏后,仍有 13 条因日期格式通不过类型校验。openai/gpt-5-nano 的 20 条回复都能解析,有 9 条因日期格式被拦下。
严格 Schema 解决了这批实验里的结构问题。三轮启用 Schema 的调用各有 20 条回复,全部通过校验。但 IRS 更正公告 C1-2026-18574 的作用,是把另一份文档 2026-18574 里的日期从 2026 年 10 月 16 日改为 10 月 26 日。Gemini 把新日期填进当前公告的 comments_due,两轮 GPT 都把它填进 effective_date。按答案表的定义,这份更正公告没有设定自己的生效日或评论截止日,两个字段都应为 null。
结构约束管键名、类型和格式,应用校验还能检查数值是否落在业务允许的范围内。原文援引的一项 2026 年基准测试覆盖 21 个模型,Schema 合规率接近满分,从文本抽取的值最高也只有 83.0% 完全匹配。模型被拒答或回复因 token 上限截断时,调用端仍要处理结构校验失败。
怎样让空值和调用失败各有记录
作者要求 6 个键全部出现,同时允许每个值为 null。字段描述直接规定取值范围。effective_date 可以取当前公告声明的生效日或适用日。comments_due 只取当前公告的公众评论截止日,排除 OMB 文书流程和听证申请的截止日。下面这段调用把这些约束传给网关,再用 Pydantic 校验返回值。
MAX_CHARS = 8000 # the preamble (AGENCY, ACTION, DATES) sits near the top
SYSTEM = ("You extract fields from US Federal Register documents. "
"Follow the field descriptions in the schema exactly. "
"If a field is not stated in the document, return null. Do not guess.")
body = {
"model": model, # e.g. "openai/gpt-5-nano"
"messages": [{"role": "system", "content": SYSTEM},
{"role": "user", "content": text[:MAX_CHARS]}], # text = the document
"response_format": {"type": "json_schema",
"json_schema": {"name": "fr_document", "strict": True,
"schema": strict_json_schema()}},
}
reply = chat(body)["choices"][0]["message"]["content"] # chat(): gateway.py
row = FRDocument.model_validate_json(reply) # raises if anything is off
留意 text[:MAX_CHARS] 这一行。作者只传前 8000 字符,因为这批公告的 AGENCY、ACTION 和 DATES 通常靠前。换一批文档,截断位置也可能决定模型能不能看到答案。原文还列了供应商差异。Anthropic 使用 output_config.format 或 client.messages.parse(),不支持 minimum、minLength,单次请求最多允许 16 个使用联合类型的参数。Gemini 的 client.interactions.create() 使用 response_format,其中 type: "text"、mime_type: "application/json",并且只支持 JSON Schema 的一个子集。
gpt-5-nano 有 8 个年份不对的日期通过了 Schema 和 Pydantic,甚至把 2026 年 11 月 12 日写成了 1124-06-12。作者用 plausible_dates.py 加了一道业务检查,把日期限定在发布日期前后各一年。越界就删掉对应的键,让 score.py 记该字段失败。整次调用失败则记录为 parsed: null。如果把 HTTP 429 也存成一个字段全为 null 的对象,本该留空的字段反而可能得分。
为什么同样答对 58 格,一个过了一个没过
作者用 2026 年 9 月 28、29 日发布的 10 份 Rules 和 10 份 Proposed Rules 建立答案表。里面有 10 份同模板的 FAA 适航指令,最容易踩坑的是两份更正公告、一份使用「适用日」的 HUD 公告,以及一份列了三个截止日的 EPA 提案。答案表用 checker_note 记录了 8 处需要判断的取值。
score.py 把每格分为七类。完全一致、按约定清洗后相同、应空且为空,这三类算对。应有却漏填、有值但答错、不该填却填了、调用或校验失败,这四类分别记录。作者事先规定,每个字段至少答对 19/20,且多填和失败都必须为零。这批样本里,两个日期字段各有 10 个空值,刚好能暴露模型爱补日期的问题。
三轮模型的总成绩分别是 Gemini 116/120、移除 format: date 的 GPT 115/120、保留该约束的 GPT 108/120。三轮都有多填,集中在两份更正公告。发布方 API 只参评 rin、effective_date 和 comments_due,其余三个字段采用了不同的口径。在这三个字段上,API 和 Gemini 都答对 58/60。API 漏了 HUD 的适用日和 IRS 提案 2026-19888 的评论截止日,每个日期字段各漏一条,所以过线。Gemini 的两条多填触发了零容忍规则。
我的判断
按字段定门槛,比拿一个总准确率决定能否上线更贴近业务。截止日一旦被下游当成提醒时间,填错和留空会带来不同后果。但零多填是作者针对这批任务定的取舍。把门槛降到 18/20,保留零多填要求,判定不变。降到 18/20 再取消这一要求,三轮模型就有两轮能过。字段的用法应该决定哪种错误更难接受。
这组排名也依赖答案表的裁决。MARAD 更正公告只写了一个没有标签的 2026-09-28。如果把它认作生效日,发布方 API 的 effective_date 就从 19/20 掉到 18/20。答案表由 AI agent 建立,GPT-5.6 和 Claude Opus 5.5 各自盲填 120 格,结果完全一致。发布方数据有 113 格一致,但没有人逐格复核全部 120 格。作者也确实修正过 IRS 更正公告的机构答案。几份答案一致可以辅助核对,遇到争议仍要回到原文和字段定义。
2026 年 10 月 8 日,每套配置只跑了一次。GPT 去掉 format: date、改写 Format YYYY-MM-DD. 后,8 个异常年份在重跑中全部消失。这是一次实测,样本不足以确认改动能稳定复现。正则在 6 个字段上都拿了 20/20,但编写时看过这批文档。它在陌生版式上能否保持成绩,原文没给对照数据。
能拿来做什么
- 在 Node 抽取脚本里先定好每个字段的来源、允许为空的条件,以及明确要忽略的文本。让前端能区分源文档没有值和本次抽取失败,尤其别让 HTTP 429 变成一排正常空值。
- 从真实输入里挑约 20 份文档做回归集,给每个关键字段补几份本该留空的样本。把更正公告、同页多个日期和无标签日期这类争议样本的判定理由写进
checker_note。 - 用同一套评分比较上游 API、按标签解析的规则和模型,逐字段选通过门槛的来源。用看过的样本写规则后,再拿没参与编写的文档验一次。
- 换模型、改 Schema 或调整截断长度后,重跑固定样本,优先检查新增的多填、漏填和调用失败。两次总分相同,也可能需要修完全不同的字段。