刚刚，面壁智能和 OpenBMB 开源了 MiniCPM-OCR，这是一个非常有趣的 OCR 组合，包含两个部分：一个负责识别文字，一个负责判断正确性
想在自己电脑上装，复制这句话，交给你的 agent 就行
阅读并执行 https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL_en.md
发了什么
先说文字识别的 MiniCPM-OCR，这个模型只有 1.3B，也是 MiniCPM-V/o 家族第一个专做 OCR 的模型，可以将各种文件（无论是照片、扫描件、还是 PDF），识别并导出一份能直接编辑的 Markdown
这一个模型有趣的一点是，它们会动态地调整文字的方向和大小，以便于更好地识别我们经常是对着一些拍歪了的文件进行图像识别，这就很能派得上用场了
这里还有一份 benchmark，可见效果还是不错的
在识别速度上，这一款模型也是十分的有优势。对于包含 1651 张页面图的 OmniDocBench v1.6 数据集，在同一张 NVIDIA GeForce RTX 5090 的显卡下，各种模型的速度如下
下面容我介绍下那个「Jev」同一时间发布的还有一个 Jev 模型（2B），我觉得这是非常有创新性的一点，它的作用是把原图和识别出来的文字放在一起，给一个可信度的打分。如果分数较低，就可以提醒你这里或许是有问题的，需要人工处理一下
作为一个专用模型，在“判卷”这件事情上，它是能够和很多的大模型去掰一掰手腕的
两个模型的权重、推理代码和微调工具，都放在 GitHub 的 OpenBMB/MiniCPM-OCR 里
两个模型怎么配合
那接下来我们就看一看这两款模型是怎么配合的对此，我做了一个非常生动的动画，看一看
分高的识别区块能够直接录入，而分数低的可以让人再看一眼
那如果大模型说这个区块确实没有问题，就会给它标记一个叫“免检”的 tag但这玩意儿真的可靠吗？面壁拿内部不同业务的 900 块图试过，还真是挺可靠的
当然，这个判卷模型还能当裁判：比如你可以把同一页交给几个 OCR 各认一遍，然后每一块留下分最高的那份，这何尝不是一种拼好 R
怎么用
整套的模型与服务已经上线了 MiniCPM 的网站，国内是 platform.modelbest.cn，海外是 platform.modelbest.ai，开箱即用
当然，你也可以选择把这套东西装在自己电脑上，就把开头那句交给 agent，它会照着仓库里的说明一步步装好
第一次装好、把服务跑起来，大约要 3 分钟
装好以后，一条命令就能把 PDF 变成 Markdown，表格也会一并转成 HTML
而对于那个 Jev，则可以直接在在 Hugging Face 上一行 Ollama
对了，这俩模型的 api 后续还会放出来，敬请期待
原理
说回 Jev：为啥非要单独做一个判卷的模型？
现在新一代的 OCR，几乎都换成了能看图写字的大模型，整页看一遍就直接把结果写出来问题在于...OCR 模型这玩意儿，它识别错了，自己也不知道
倘若在平时办公也好，一个错别字影响并不大但在财务、法务、医疗这些地方就很要了老命了，比如说，你是切 5 厘米还是切 5 毫米，是吧？那在这种情况下，走一轮校验，看不清的天书，就能更准确地进入人工流程了
很显然，这种方法是非常省时、省力、省人工的
另外得说一下，为什么这个模型是这么快？靠的一套叫 DSpark 投机采样小妙招：先让一个小模型猜几个字，再由大模型一次核对
最后
业务里 OCR 用的多的朋友，不妨来试一试，两个模型加起来不到 4B，人人能跑了是
可以试试把下面这段话发给你的 Agent
阅读并执行 https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL_en.md
