小米开放轻量文档模型,兼顾解析与问答
小米开源 0.8B 参数的 Xiaomi-OCR-0 权重与推理代码,支持文档解析、字段抽取及文档视觉问答,可输出 Markdown、LaTeX 和 JSON。官方还介绍了重渲染校验等训练方法,并公布多项文档与表格识别基准成绩。
AI 深度解读
小米开源的 Xiaomi-OCR-0,想把文档处理中的三件事装进一个 0.8B 参数模型:读出内容、提取字段、围绕内容回答问题。它的价值不只是识字,而是直接输出 Markdown、LaTeX 或 JSON,减少识别结果进入业务系统前的整理工作。
据 IT之家 10 月 30 日报道,小米公布了多项领先成绩,也开放了权重和推理代码。但小模型能否省资源、复杂文档能否稳定处理,还需要把榜单成绩和部署条件分开看。
一个模型,能接住哪些文档任务
Xiaomi-OCR-0 覆盖三类任务,区别在于你最终需要什么结果。
文档解析要还原整页内容:识别正文、表格、数学公式,并按阅读顺序输出,原生支持 Markdown 和 LaTeX。对资料入库来说,文字识别正确只是第一步,段落顺序、表格结构和公式表达同样影响后续使用。
关键信息抽取只关心指定字段。输入发票、收据、卡证或业务表单,模型定位所需信息,再输出 JSON 等结构化数据。它更接近业务接口需要的输入。
OCR 视觉问答则允许针对文档和图表提问,涉及跨区域检索、数值计算与语义推理。它需要理解页面中不同内容之间的关系,不能只把文字抄出来。
三类任务放进同一模型,有机会减少流程拼接,但不能据此认定每个环节都同样可靠。
0.8B 的成绩,靠什么撑起来
模型基于 Qwen3.5-0.8B-Base 构建,累计使用约 1.7 亿条 OCR 与文档理解训练样本。原文披露的重点,是如何提高这些样本的质量。
首先是异构专家共识机制。正文、表格、公式等区域由多个 OCR 专家模型交叉校验,再投票筛选高置信标注。大白话解释,就是让多个识别系统互相检查,减少单个系统的错误进入训练集。
其次是「预测、重渲染、视觉比对」闭环。把候选解析结果重新渲染成图像,与原始区域做像素和结构级比较,再定向修正行列错位、符号缺失。表格和公式尤其适合这种检查:文字看着差不多,结构却可能已经错了。
团队还按版面复杂度、字体形态和物理退化因素合成困难样本,补充多语种、古籍手写、屏幕摩尔纹、扭曲光照等长尾情况。
训练分三阶段:Q-Mask 文本锚定建立视觉局部区域与文字 Token 的空间对应;OCR 持续预训练使用百亿级 Token 的多任务混合数据;混合任务强化学习在困难样本上,以结构编辑距离、表格匹配度和问答准确率作为可验证奖励。
这套设计解释了团队如何针对 OCR 问题训练模型,但原文没有消融实验,无法判断每项做法分别贡献多少。
榜单领先,具体领先在哪里
以下均为小米公布的评测结果,并非报道中的独立复测。
| 基准 | 得分与原文结论 |
|---|---|
| Real5-OmniDocBench | 95.24 分,在其对比模型中第一 |
| Wild-OmniDocBench | 87.94 分 |
| OmniDocBench v1.6 | 96.83 分,总榜第二,距第一 0.04 分,1B 以下第一 |
| UniMER-Test | 数学公式识别 97.84 分 |
| PubTabNet | 表格结构识别 92.27 分 |
| Chronicles-OCR(Mature Scripts) | 73 分;Seed 2.0 Pro 为 72 分,小米称处于同一水准 |
其中,Real5-OmniDocBench 模拟扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种采集方式,关注的是文档离开理想扫描条件后还能不能识别。
文档理解成绩则取 DocVQA、InfoVQA、ChartQA、OCRBench、TextVQA 五项平均:
| 模型 | 参数规模 | 平均分 |
|---|---|---|
| Xiaomi-OCR-0 | 0.8B | 83.2 |
| HunyuanOCR-1.5 | 1B | 76.5 |
| TokenVL-2B | 2B | 78.1 |
| TextHawk2 | 7B | 78.5 |
| Qwen3.5-2B | 2B | 80.9 |
| MiniCPM-V-4.5 | 8B | 82.6 |
| Qwen3.5-4B | 4B | 84.9 |
这些结果支持一个有限结论:在官方所列任务与设置中,专门训练的 0.8B 模型可以超过部分更大的模型。它没有超过表中的所有模型,也不能把平均分直接当成自家票据的字段准确率。
我的判断
我更看好它把输出格式和业务任务一起训练的方向。相比传统 OCR 识字后,再拼规则、表格解析器和问答模型,统一模型可能减少中间转换;相比直接调用通用多模态模型,它提供了一个参数更小的候选方案。
但「小」是否带来实际成本优势,原文没给对照数据。推理延迟、吞吐、显存占用、部署硬件和量化效果都没说清,开源许可证的具体条款也未展开。
小米称相关技术已用于手机端「超级小爱」,支持取餐码、取件码、排队号提取,以及记账、卡证字段提取和日程生成。这属于官方披露的落地情况,不能据此推断公开的 0.8B 权重能够独立复现整套手机体验。
榜单足以让它进入候选名单,业务验收仍要靠自己的文档。
能拿来做什么
- 做票据或表单系统时,先用真实材料测试指定字段到 JSON 的流程,并在 Node 服务中校验字段类型、金额格式和必填项,再决定是否写入业务数据。
- 做资料解析时,分别检查阅读顺序、表格行列和公式完整性,不要只抽查文字;Markdown、LaTeX 输出也需要实际渲染验收。
- 做 Agent 文档工具时,可以从官方提供的浏览器交互式 Demo、MCP 服务和 Agent Skill 工具包入手。权重与推理代码已上线 Hugging Face 和 GitHub,原文给出的体验口令如下;其中需要留意的是
Read and execute,它要求执行远程 Skill 指令,不能当成普通文档引用。
Read and execute https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md