Vừa rồi, Mianbi Intelligence và OpenBMB đã mở nguồn MiniCPM-OCRĐây là một sự kết hợp rất thú vị OCR bao gồm hai phần:Một phần chịu trách nhiệm nhận dạng văn bản, một phần chịu trách nhiệm đánh giá độ chính xác
Muốn cài trên máy tính của bạn, chỉ cần sao chép câu này và giao cho agent của bạn
Đọc và thực hiện https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL_en.md
Đã gửi gì
Trước tiên nói về nhận dạng văn bản MiniCPM-OCR, mô hình này chỉ có 1.3B, cũng là MiniCPM-V/o mô hình đầu tiên trong gia đình chuyên làm OCR có thể nhận dạng và xuất ra một bản Markdown có thể chỉnh sửa trực tiếp từ nhiều loại tài liệu khác nhau (dù là ảnh, bản quét hay PDF)
Điều thú vị về mô hình này là nó sẽ tự động điều chỉnh hướng và kích thước chữ để nhận dạng tốt hơn. Chúng ta thường nhận dạng hình ảnh từ những tài liệu bị chụp nghiêng, nên tính năng này rất hữu ích.
Ở đây còn có một bảng benchmark, cho thấy hiệu quả khá tốt.
Về tốc độ nhận dạng, mô hình này cũng rất có ưu thế. Đối với các tài liệu chứa 1651 trang hình ảnh của OmniDocBench v1.6 Bộ dữ liệu, trên cùng một card đồ họa NVIDIA GeForce RTX 5090 tốc độ của các mô hình khác nhau như sau
Bây giờ để tôi giới thiệu về "Jev"Cùng lúc đó cũng có một mô hình Jev (B), tôi nghĩ đây là một điểm rất sáng tạo, chức năng của nó là kết hợp hình ảnh gốc và văn bản nhận dạng được lại với nhau, đưa ra một điểm tin cậy. Nếu điểm thấp, nó có thể nhắc bạn rằng có thể có vấn đề ở đây, cần xử lý thủ công2Là một mô hình chuyên dụng, trong việc "chấm điểm", nó có thể cạnh tranh với nhiều mô hình lớn khác
Trọng số của hai mô hình, mã suy luận và công cụ tinh chỉnh đều được đặt trong
của GitHub trong OpenBMB/MiniCPM-OCR đó
Hai mô hình phối hợp như thế nào
Tiếp theo chúng ta sẽ xem cách hai mô hình này phối hợp với nhau, tôi đã làm một hoạt hình rất sinh động để xem
Các khối nhận dạng có điểm cao có thể được nhập trực tiếp, còn điểm thấp thì có thể để người xem lại
Vậy nếu mô hình lớn nói rằng khối này thực sự không có vấn đề, nó sẽ gắn cho nó một thẻ gọi là “miễn kiểm tra” nhưng điều này có thực sự đáng tin cậy không? Đã thử với các biểu đồ khối của các nghiệp vụ nội bộ khác nhau 900 Thật sự khá đáng tin cậy
Tất nhiên, mô hình chấm điểm này cũng có thể làm trọng tài: ví dụ bạn có thể đưa cùng một trang cho vài người OCR mỗi người nhận xét một lần, rồi giữ lại phần có điểm cao nhất cho mỗi khối, đây chẳng phải cũng là một cách để ghép R tốt hơn sao
Cách sử dụng
Toàn bộ bộ mô hình và dịch vụ đã được triển khai MiniCPM trên trang web, trong nước là platform.modelbest.cn, ở nước ngoài là platform.modelbest.ai, có thể dùng ngay
Tất nhiên, bạn cũng có thể chọn cài đặt bộ này trên máy tính của mình, chỉ cần đưa câu đầu tiên cho agent, nó sẽ làm theo hướng dẫn trong kho lưu trữ để cài đặt từng bước
Lần đầu cài đặt và chạy dịch vụ, khoảng 3 phút
Sau khi cài xong, chỉ cần một lệnh là có thể biến PDF thành Markdown, bảng cũng sẽ được chuyển đổi cùng HTML
Còn về Jev, thì có thể trực tiếp chạy một dòng Ollama trên Hugging Face
À, API của hai mô hình này sẽ được phát hành sau, hãy đón chờ nhé
Nguyên lý
Quay lại Jev: tại sao phải làm riêng một mô hình chấm điểm bài thi?
Thế hệ mới hiện nay OCRhầu như đều chuyển sang các mô hình lớn có thể nhìn hình và viết chữ, xem toàn bộ trang rồi trực tiếp cho ra kết quả. Vấn đề là...OCR Mô hình này, khi nhận diện sai, nó cũng không biết
Nếu chỉ là công việc văn phòng bình thường thì một lỗi chính tả không ảnh hưởng nhiều, nhưng trong tài chính, pháp lý, y tế thì rất nghiêm trọng, ví dụ như bạn cắt 5 centimet hay cắt 5 milimet, đúng không? Trong trường hợp này, qua một vòng kiểm tra, những chữ khó đọc sẽ được xử lý chính xác hơn bằng quy trình thủ công
Rõ ràng, phương pháp này rất tiết kiệm thời gian, công sức và nhân lực
Ngoài ra phải nói thêm, tại sao mô hình này nhanh như vậy? Nhờ một mẹo nhỏ gọi là DSpark lấy mẫu đầu cơ: để một mô hình nhỏ đoán vài chữ, rồi mô hình lớn kiểm tra một lần
Cuối cùng
trong công việc OCR những người dùng nhiều có thể thử, hai mô hình cộng lại chưa đến 4B, ai cũng có thể chạy được
Bạn có thể thử gửi đoạn văn dưới đây cho Agent của bạn
Đọc và thực hiện https://github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL_en.md


