模型准确为何仍救不了文档AI项目

描述：深入剖析一个文档 AI 系统为何在 OCR 准确、分类精确率达到 94% 的情况下，依然在生产环境中失败。

canonical_url: https://alteglobal.ai/insights/why-workflow-audit-before-ai/

我们研究过的一家专业服务公司，曾花费 30 万美元实施一套文档 AI 系统。

从纸面数据来看，这个项目很成功。

OCR 正常工作。分类模型的精确率达到了 94%。系统处理文档的速度也比人工团队更快。

但 18 个月后，几乎已经没有人在使用它。

失败的不是模型，而是实施过程。

这是企业 AI 中最常见的问题之一：团队孤立地评估模型，但真正的业务价值取决于系统能否切实融入工作流。

这个项目失败有三个原因。

1. 从未梳理真实工作流

AI 系统能够正确处理文档，但输出结果被放进了一个目标部门并不会定期查看的工具中。

因此，相关信息从技术上讲确实存在，却始终没有送达那些需要据此采取行动的人。

这是一个典型的 AI 部署错误。

模型可以完美地提取、分类和总结数据，但如果输出没有出现在用户真实的工作流程中，采用率就会很低。

在构建文档 AI 之前，团队应该回答以下问题：

• 谁会接收输出结果？

• 他们目前在哪里工作？

• 他们每天都会查看哪个系统？

• AI 处理完文档后，应该触发什么操作？

• AI 无法确定时，该如何处理？

如果在开发前没有回答这些问题，AI 系统就可能变成一个无人使用的独立层。

2. 模型使用干净的样本数据训练

在试点期间，系统使用干净的文档进行测试：

• 格式可预测；

但真实文档却截然不同。

其中包括手写备注、位置错误的印章、质量较差的扫描件、老旧的传真质量文件、格式不一致的文件，以及缺页的扫描文档。

模型在许多情况下仍然能够正常工作，但在最关键的场景中，准确率却有所下降。用户开始遇到异常、边缘情况和错误分类。信任随之降低。到了第三个月，许多员工已经悄悄回到了人工流程。

这是另一个常见的 AI 错误：使用演示级数据进行测试，而不是使用生产级数据。

对于文档 AI，一套符合实际情况的测试集应该包括：

• 模板不一致的文档；

• 来自不同来源的文档；

• 应当被拒绝或升级处理的样本。

如果试点数据过于干净，试点结果就不可靠。

3. 没有变革管理

公司把这个项目当作一次技术实施。

但对目标团队而言，它改变了原本应有的工作方式。

没有人清楚地解释：

• AI 系统将如何影响日常工作；

• 哪些人工步骤将会消失；

• 哪些决策仍然需要人工审核；

• 何时应该信任 AI 的输出；

• 何时应该升级处理异常情况；

• 公司为什么要实施这套系统。

结果，团队把 AI 视为一种威胁，而不是一种工具。

这一点在高度依赖文档的专业服务行业中尤其重要，因为准确性、问责机制和客户信任都至关重要。如果用户不了解系统，就不会使用它。如果用户不信任系统，就会绕开它，继续采用其他方式工作。

解决办法并不复杂，但代价高昂。

公司不得不回过头来，完成那些本应在开发前完成的工作：

• 梳理真实工作流；

• 围绕团队现有系统重新构建输出流程；

• 收集符合实际情况的训练和测试数据；

• 定义人工审核规则；

• 建立异常处理路径；

• 培训用户使用新的流程；

• 解释 AI 如何支持团队，而不是取代团队。

返工成本：18 万美元。

如果项目一开始进行的是工作流审计，而不是直接构建模型，这笔成本原本可以避免。

AI 项目很少仅仅因为模型不够好而失败。

它们之所以失败，是因为模型在缺少充分流程背景的情况下被构建出来。

一个真正有用的 AI 系统，需要的不只是准确率，还需要：

• 清晰的业务工作流；

• 符合实际情况的输入数据；

• 在现有工具中交付输出结果；

• Human-in-the-loop 逻辑；

• 可衡量的成功标准。

模型只是整个系统的一部分。

一份更完善的构建前检查清单

在构建文档 AI 之前，请先提出以下问题：

我们究竟要改进哪一条工作流？不要回答一个抽象的部门名称，而要明确实际的工作步骤顺序。

我们究竟要改进哪一条工作流？不要回答一个抽象的部门名称，而要明确实际的工作步骤顺序。

当前基线是什么？包括每份文档的处理时间、错误率、审核量、成本、积压量或响应时间。

当前基线是什么？包括每份文档的处理时间、错误率、审核量、成本、积压量或响应时间。

AI 的输出将被发送到哪里？Email、CRM、文档管理系统、案件管理平台、Slack、Teams，还是其他工具？

AI 的输出将被发送到哪里？Email、CRM、文档管理系统、案件管理平台、Slack、Teams，还是其他工具？

谁负责根据输出采取行动？如果没有人为下一步负责，AI 的结果就只会闲置在那里，无人使用。

谁负责根据输出采取行动？如果没有人为下一步负责，AI 的结果就只会闲置在那里，无人使用。

人工审核具体如何进行？哪些情况可以自动推进，哪些情况必须经过检查？

人工审核具体如何进行？哪些情况可以自动推进，哪些情况必须经过检查？

生产数据实际是什么样子？测试集中应包含混乱、不完整和低质量的文档。

生产数据实际是什么样子？测试集中应包含混乱、不完整和低质量的文档。

团队将如何采用这套系统？工作流必须以用户能够理解和信任的方式发生改变。

团队将如何采用这套系统？工作流必须以用户能够理解和信任的方式发生改变。

这次耗资 30 万美元的失败，其实并不是技术上的失败。

OCR 正常工作。分类器正常工作。文档处理流水线也正常工作。

真正失败的，是 AI 系统与现实组织之间的连接。

而这正是许多团队低估的部分。

在把 AI 引入任何高度依赖文档的流程之前，都应该从工作流开始。梳理当前的工作方式、时间浪费在哪里、哪些数据比较混乱、谁需要接收输出，以及哪些环节必须继续由人类判断掌控。

完成这些工作后，才应该开始构建模型。

AI 并不会仅仅因为能更快地处理信息，就自动创造价值。

只有当输出结果在正确的时机、通过正确的工作流抵达正确的人手中时，它才能创造价值。

如需采取进一步措施，你可以考虑屏蔽此人和／或举报其滥用行为。