OvisOCR3, con 0,8B de parámetros, supera a otros modelos OCR: 96,74 en OmniDocBench v1.6

Investigadores de ATH-MaaS han presentado OvisOCR3, un modelo vision-language compacto de 0,8B de parámetros que sustituye a todo un conjunto de sistemas OCR muy especializados. Un único conjunto de pesos analiza documentos, reconoce texto en imágenes arbitrarias, extrae los campos clave de formularios y recibos, describe gráficos e ilustraciones dentro de los documentos y une tablas repartidas en varias páginas. En OmniDocBench v1.6 el modelo obtuvo 96,74 puntos y en OCRBench v2 ocupó el primer puesto. Los pesos y los ejemplos de inferencia están publicados en Hugging Face, en el repositorio ATH-MaaS/OvisOCR3.

Cinco profesores de 4B de parámetros para un solo alumno

La gran incógnita del proyecto es cómo encajar cinco habilidades distintas en 0,8B. Los autores empiezan por continuar el entrenamiento del modelo con una mezcla de datos reales y sintéticos (continued pretraining). Después llega la etapa de domain-balanced mid-training: las tareas difieren mucho en volumen de datos y en longitud de las respuestas. Una página convertida a Markdown y un campo corto extraído de un recibo son textos de órdenes de magnitud distintos, y sin equilibrado las tareas largas acabarían imponiéndose fácilmente a las cortas.

A continuación entra en juego la multi-teacher on-policy distillation. Cinco profesores de dominio de 4B de parámetros, uno por cada área, transfieren su conocimiento al modelo común. En la destilación on-policy, es el alumno quien genera las respuestas, y los profesores las evalúan y las corrigen. La cadena se cierra con mixed-task reinforcement learning con recompensas por dominio: cada tipo de tarea tiene su propia métrica de calidad.

Dónde el modelo toma la delantera

Los autores compararon OvisOCR3 con VLM generalistas y con modelos OCR especializados en benchmarks públicos e internos. Estos son los resultados en las cinco familias de tareas:

• OmniDocBench v1.6 (análisis de documentos): puntuación global de 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench: la puntuación global más alta entre los modelos comparados.
• OCRBench v2: primer puesto, con 65,9 en el split en inglés y 61,3 en el chino.
• OCRBench: el modelo supera a los modelos base de comparación.
• Cuatro benchmarks de extracción de información clave (KIE): los mejores resultados en los cuatro.
• DocFigCapBench (pies de figura para ilustraciones de documentos): el mejor localization F1; la calidad de los pies se acerca a la de Qwen3.8-Max.
• CrossTabBench (tablas que abarcan varias páginas): liderazgo en Relation F1.
• MPDocBench-Parse: el mejor TEDS en tablas recortadas.

El primer puesto en OCRBench v2 ya es relevante de por sí: este benchmark no solo comprueba la lectura de texto, sino también distintos escenarios de trabajo con él en dos idiomas. La puntuación en el split chino es inferior a la del inglés, pero el modelo lidera en ambos.

Tablas que no caben en una página

La unión de tablas entre páginas merece una mención aparte. Los informes financieros, las especificaciones y los registros trasladan con frecuencia filas a la hoja siguiente, y un parser convencional que procesa página a página rompe la estructura: el encabezado se queda en una página y los datos pasan a otra. OvisOCR3 restablece los vínculos entre fragmentos, y precisamente aquí lidera en Relation F1 y en TEDS sobre tablas recortadas. Para tareas como la ingesta de documentos en RAG o la automatización contable, es un problema que antes se resolvía con parches.

El modelo llega en medio de una oleada de trabajos similares. La búsqueda semántica de Hugging Face muestra junto a él PolyOCR-Venus, Xiaomi-OCR-0, Jina-OCR-v1 y un trabajo sobre VLM ligeros para OCR con JSON estructurado. El mercado avanza claramente hacia modelos pequeños y unificados, en lugar de cadenas formadas por detector, reconocedor y posprocesado.

A quién le conviene probarlo

Con 0,8B de parámetros, el modelo puede ejecutarse en hardware modesto: en una sola tarjeta gráfica de consumo, en un entorno privado y sin enviar los documentos a una API externa. Esto interesa a los equipos que procesan escaneos de contratos, facturas, formularios e informes de miles de páginas. Un solo motor en lugar de cinco simplifica el despliegue y el mantenimiento.

Las limitaciones también están claras: las comparaciones las han realizado los propios autores y parte de los benchmarks es interna. Por eso, antes de cambiar un pipeline de producción, conviene probar el modelo con documentos propios, sobre todo con tipografías poco comunes, escaneos de mala calidad y tablas de varias páginas. Los propios autores piden feedback a la comunidad, así que las primeras mediciones independientes aparecerán pronto.