OvisOCR3, con 0,8 mil millones de parámetros, lidera cinco tareas de OCR a la vez

Un equipo de 15 autores ha lanzado OvisOCR3, un modelo de 0,8 mil millones de parámetros que resuelve cinco tareas con un solo conjunto de pesos: parsing de documentos, OCR universal, extracción de información clave (KIE), pies de figura en documentos y ensamblado de tablas que se extienden a lo largo de varias páginas. En OmniDocBench v1.6 obtiene 96,74 puntos y en OCRBench v2 ocupa el primer puesto: 65,9 en el split en inglés y 61,3 en el split en chino. En la comparación figuran VLM de propósito general y modelos OCR muy especializados, y según los resultados declarados, el modelo pequeño supera a muchos de ellos.

Cinco profesores para un solo alumno

Lo más importante del trabajo es cómo se entrenó el modelo. Primero, los autores aplicaron continued pretraining sobre una mezcla de datos reales y sintéticos. Después añadieron domain-balanced mid-training. Las tareas difieren mucho en volumen de datos y en longitud de respuesta. Convertir una página entera a marcado genera miles de tokens, mientras que extraer un par de campos de un recibo cabe en unas pocas líneas. Sin balanceo, los dominios largos aplastarían con facilidad a los cortos, y esta etapa iguala la aportación de cada uno al entrenamiento.

A continuación llega la multi-teacher on-policy distillation. Cinco modelos docentes de dominio, de 4B cada uno, transmiten sus habilidades a un modelo general cinco veces más pequeño que cualquiera de ellos. La destilación on-policy significa que el alumno aprende de sus propias generaciones y los docentes las evalúan. El paso final es un mixed-task reinforcement learning con recompensas específicas para cada dominio: tablas, pies de figura y extracción de campos usan criterios de calidad distintos.

Dónde destaca OvisOCR3

Los autores comparan el modelo en benchmarks públicos e internos que abarcan las cinco familias de tareas. Resultados según sus datos:

• OmniDocBench v1.6 — puntuación global de 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench — la puntuación global más alta entre los modelos comparados.
• OCRBench v2 — primer puesto: 65,9 (split en inglés) y 61,3 (split en chino).
• OCRBench — por encima de todos los modelos base.
• Cuatro benchmarks de KIE — por encima de los modelos base en cada uno.
• DocFigCapBench — mejor localization F1 y una calidad de pies de figura cercana a Qwen3.8-Max.
• CrossTabBench — liderazgo en Relation F1 para tablas de varias páginas.
• MPDocBench-Parse — mejor TEDS en tablas truncadas.

Los pies de figura merecen una mención aparte. Aquí el modelo de 0,8B casi alcanza a Qwen3.8-Max y, en precisión de localización de figuras en la página, supera a todos los de la comparación. Es una tarea en la intersección de visión y lenguaje, donde suelen ganar los grandes VLM de propósito general.

Tablas que no caben en una página

Las tablas que abarcan varias páginas siguen siendo un punto débil de muchos pipelines de OCR. Un informe financiero, una especificación o un extracto bancario suelen continuar la tabla en la hoja siguiente, con la cabecera repetida o perdida. Un parser convencional ve dos fragmentos independientes y la estructura se desmorona. Las métricas Relation F1 en CrossTabBench y TEDS en las tablas truncadas de MPDocBench-Parse miden justamente la capacidad de reconstruir las relaciones entre las partes. Liderar en ambas indica que el modelo entiende el documento completo, y no página por página.

A quién le conviene echarle un vistazo

Un solo modelo en lugar de un conjunto de especializados simplifica la arquitectura. No hace falta mantener servicios independientes para parsing, KIE y pies de imagen, armonizar sus formatos de salida ni atender las guardias de cada uno. Con 0,8B se puede contar con una inferencia barata y con ejecutarlo en hardware modesto, aunque los autores no publican comparaciones de costes y la velocidad habrá que comprobarla por cuenta propia.

Los equipos que construyen RAG sobre PDF, procesan contratos, facturas e informes, o digitalizan documentos en chino e inglés tienen aquí un candidato para una prueba rápida. Conviene empezar por los documentos más difíciles, con tablas de varias páginas y figuras complejas. Los resultados con datos propios mostrarán hasta qué punto las cifras de los benchmarks se trasladan a producción. La propia receta, con docentes de dominio, destilación y RL con recompensas distintas, parece un enfoque reproducible también para otras tareas multidominio en las que haya que reunir a varios especialistas en un único modelo compacto.