把 OCR 做进生产:模型从来不是难点
发布于 2026年10月10日
Demo 只花了两周,效果很好。干净的扫描件、印刷体、横平竖直、页边距宽裕——模型几乎全读出来了,字段各就各位,导出结果用最好的那种无聊形容再合适不过。在场每个人都很满意。
然后管线遇上了生产环境。生产环境寄来一份复印件的复印件,歪了几度,金额栏正好压在扫描仪的阴影里。刚在会议室里技惊四座的那个模型,把那个办事处的每一页金额都读错了——错得信心十足,页页如此。
我在文档处理管线里泡了很多年:就是那类把纸质表单读成结构化数据、让下游系统接着干活的系统。这篇写的是没人 demo 的那部分——从"一个模型"到"一条业务敢靠它吃饭的管线"之间隔着的东西。后来 LLM 来了,把这条技术栈的中间层重写了一遍;而下面要讲的这些,一寸都没有挪动。
最便宜的修复点在扫描仪旁
我的第一反应,也是每个新工程师的第一反应,是在代码里修输入:去噪、二值化、纠偏,把预处理当成锤子直到坏页面被敲成好页面。预处理有用。但这些年我往管线里加过的最有价值的东西不是任何一种变换,是一道闸门:在模型碰页面之前先量一量它,没救的页面直接退回给拿扫描仪的人,并附上一句他能照做的理由。"第 3 页歪了,请重扫。""这一页太淡了,查一下墨粉。"几秒钟的事,趁纸还在桌上。
这笔账很残酷,而且单边倒。坏页面在入口被拒收,代价是秒级;同一页放进下游,代价是某个人一下午——而且在操作员眼里,那不是"置信度低",那是系统错了。拒收不是管线失职。带理由拒收,恰恰是管线在正常工作。
有个细节我学会了但花的时间不光彩:**按字段开方子,别按页面。**让印刷数字变清晰的激进二值化,会顺手毁掉压在签名上的红章、有人在打印金额上用铅笔做的更正。任何"为整页"做的预处理决策,都在帮一个字段的同时悄悄弄坏另一个。先按字段测量,再决定这页纸配得上什么处理。
坏页面在入口拒掉,代价几秒;放进下游,代价一下午——而且买单的人从来没听说过你的模型。
置信度是个数字,不是承诺
开箱即用的识别模型,对清晰的印刷体给你 0.94,对潦草的手写体给你 0.71,中间所有东西都糊成一团 0.85 附近。如果你给整个文档设一个阈值——所有人一开始都这么干——你只是造了一枚流程更长的硬币。
出路是别再把置信度当成页面的属性,而是当成按字段的决策。字段和字段不一样:金额错一位数字可能真金白银地挪动,备注栏错一个词只是让某人日后搜得费劲。所以金额、日期、编号配严格阈值,其余字段配宽松阈值;低于阈值的字段不去导出,去人工复核队列——模型猜了什么先填好,等人确认或修正。
这个队列值得辩护一句,因为每场会议都有人管它叫"这不算自动化"。恰恰相反:队列是管线里最诚实的地方。它告诉你困难真正住在哪个字段,它的分字段流量是我用过最好的回归信号——模型升级、换扫描仪型号、表单改版,无论哪件事悄悄把日期变差了,队列比任何基准集都早几周知道。
"准确率 99%" 是一句广告词。"金额要么过阈值、要么见人工" 是一句工程。
解析器比准确率先坏
我 OCR 生涯里最有教育意义的一次事故,是一次让一切变得更好的升级。新模型,基准分数更漂亮,信心满满地上了线——几天之内,导出侧的抱怨到了。准确率没有任何下降;是新模型的书写习惯变了。日期原来出一种格式,现在出另一种。千分位分隔符凭空出现。原来这样合并的行,现在那样合并。原始准确率上升,管线掉头向下——因为解析器嫁给了模型,不是嫁给了现实。
修复方式是把模型从"真值来源"降级成"证人"。值一被抽取出来立刻规范化——一种日期格式、一种数字格式、一种"没找到"的表示——从那一刻起导出层永远不再见到模型,只见到类型。导出碰到的每个字段都有一份契约,契约都有测试:
字段 契约 违约时
───────── ────────────────────────────────── ────────────────
金额 数字、可选分组符、恰好两位小数 转人工复核;
绝不替模型"修"猜测
日期 恰好一种钉死的格式 转人工复核
案件编号 大写字母/数字/连字符,最短 6 位 转人工复核
自由文本 trim 后非空 允许为空
从此模型升级回到它本该在的位置:一次带测试套件的 API 迁移。你听取新模型的意见,尊重接口;供应商哪天改了行为,你得到的是一个红测试,而不是一通客户打来的电话。
OCR 管线不在准确率下降的地方坏。它在格式漂移的地方坏。
没人有真值,所以自己造
文档管线最不舒服的真相是没有标准答案。没人会发给你一万张标注好的扫描件。所以只能用手头的东西来测量——而手头的东西比想象中多:
- **双人录入就是免费标注。**只要业务还在手工录入同一份数据——我经手的系统里总有人录——录入的值就是真值。拿 OCR 输出和既有录入比对,得到的是一个永远自动更新、零标注成本的实时准确率测量。
- **定期抽审。**每周抽一小撮随机样本由人复核。又小又无聊,但慢漂移只有它抓得住——那种没有任何一个周二坏过、但到春天数字已经挪了两分的漂移。
- **投诉是滞后指标。**复核里每有人类修正一次,就是一条免费标注。记下来、数一数、按字段分组。
而且要按字段跟踪,永远别按文档。"管线准确率 97%" 不是任何人能拿去干活的数字;"金额字段自换扫描仪以来从 99.6 漂到 97.1" 才是一张工单。这和我十年前从数据同步管线学到的是同一课——系统得自己会喊疼,而且在客户之前喊(那篇《维护企业系统 12 年》写过,不重复)。没有测量工具兜着的准确率不是工程,是道听途说。
说不出哪个字段变差了,你就不是在升级管线——是在掷骰子,然后把结果归档成工程。
然后,LLM 来了
多模态模型重写了技术栈的中间层,这一点我不想嘴硬。版面分析、手写识别、那些两个人能填出三种填法的表格——曾经耗掉我团队几周时间的东西——现在的多模态模型直接就会。手写体从没救变成了能用。一半的预处理理由一夜蒸发。
所以我们换了模型层。而脚手架——上面的每一条教训——原封未动:
- 页面照样过质量闸门。读不了的照片,重扫依然比排查便宜。
- 置信度照样按字段映射。结构化输出的 prompt 不是承诺;LLM 答错时用的和答对时是同一种自信的字体。某种程度上校准现在更重要了,因为错误变得流利。
- 解析层照样规范化、照样守契约——prompt 本身成了契约的一部分,像任何格式承诺一样被钉死、被测试。
- 复核队列和周度抽审照样告诉我们真相。队列没有缩到零,只是搬去了别的字段。
这和我那篇 TDD 文章从另一个方向得出的结论相同:AI 把最难那部分的下限和吞吐都抬上去了,所以周围那些纪律反而更值钱。模型变得容易替换了——恰恰是这一点,让不变的部分成了价值所在。
如果你正要采购 AI 功能
大多数 AI demo 就是这篇开头那个两周 demo:数据干净、横平竖直、人人满意。区分"工程化的管线"和"一个 demo"的问题,其实一个都不关于模型:
- 系统读不了的输入会怎样——它去哪了,谁会知道?
- 哪些字段配人工,这条边界是怎么定的?
- 上个月准确率动没动你怎么知道——在哪些字段上、用什么方法测的?
- 你换模型或升级模型时,我的下游什么会坏?
下次 AI 项目会上问这四个问题。如果答案是具体的——闸门、队列、契约、抽审——说明对方在生产环境里真跑过;如果答案都在谈模型选型和参数量,你是在准备为一个 demo 出钱。
文件进去,钱押在出来的东西上——这是我最喜欢接的活。如果你的系统正是这种处境,联系页就在一步之遥。