OvisOCR3: un modelo de 0,8 mil millones de parámetros que lee documentos mejor que los sistemas especializados

Por qué un modelo pequeño en lugar de cinco especializados

El equipo de ATH-MaaS presentó OvisOCR3, un modelo de reconocimiento y análisis de documentos de solo 0,8 mil millones de parámetros que resuelve simultáneamente cinco tareas distintas y supera a sistemas altamente especializados en muchas métricas. El modelo está disponible de forma abierta en HuggingFace.

Normalmente, analizar documentos requiere todo un conjunto de herramientas: una reconoce texto impreso, otra las tablas, una tercera está afinada para extraer campos de formularios, una cuarta describe gráficos e imágenes, y una quinta une tablas divididas entre páginas de un PDF. Mantener y operar cinco modelos es más caro y complejo que mantener uno solo. Pero simplemente mezclar todas las tareas en un único conjunto de entrenamiento no funciona: el etiquetado completo de una página son miles de tokens de texto, mientras que extraer un campo de una factura son solo unas pocas palabras.

Si la pérdida de entrenamiento se calcula token por token, las tareas largas "aplastan" a las cortas, y el modelo empeora en la extracción puntual de datos.

Los autores resolvieron este problema con un entrenamiento en cuatro etapas. Primero, un modelo basado en Qwen3.5-0.

8B se ajustó con 72 millones de ejemplos: libros de texto, informes, notas manuscritas y fotos de documentos tomadas con el teléfono. Luego, el conjunto de datos se reorganizó para que cada una de las cinco tareas recibiera aproximadamente la misma atención del modelo (entre el 16% y el 23% de 8,8 millones de ejemplos por tarea), sin importar la longitud de la respuesta. A continuación entraron en juego cinco "profesores": modelos independientes de 4 mil millones de parámetros, cada uno experto en su área concreta.

Transfirieron su conocimiento al modelo pequeño final mediante lo que se llama destilación en política (on-policy distillation): el modelo aprende a corregir sus propios errores bajo la supervisión del profesor, en lugar de reproducir sus respuestas directamente. La etapa final fue el aprendizaje por refuerzo, en el que el modelo recibe una recompensa independiente por cada una de las cinco tareas, ajustada a sus particularidades.

Qué puede hacer el modelo en la práctica

OvisOCR3 cubre cinco áreas:

• Análisis de documentos: reconstruye la estructura de la página: texto, fórmulas en LaTeX, tablas en HTML, orden de lectura y disposición de los bloques en la imagen
• Reconocimiento general de texto (OCR): diez modos distintos, desde la lectura simple de texto hasta la traducción de letreros, el reconocimiento de fórmulas, el análisis de gráficos y la respuesta visual a preguntas con razonamiento
• Extracción de información clave: saca campos de formularios, facturas y documentos médicos, siguiendo un esquema definido por el usuario o identificando por sí mismo qué es relevante en el documento
• Descripción de imágenes en documentos: localiza fotos, ilustraciones, gráficos y diagramas de flujo en una página y les da una descripción breve en texto (hasta 100 palabras), y para los diagramas de flujo construye un gráfico de relaciones
• Reconstrucción de tablas entre páginas: si una tabla de un informe se corta al pasar a la siguiente página, el modelo detecta ese corte y une los fragmentos en una sola tabla completa

Resultados en los benchmarks

En OmniDocBench v1.6, que evalúa la precisión en el reconocimiento de texto, fórmulas, tablas y el orden correcto de lectura, el modelo obtuvo 96,74 puntos sobre 100, el mejor resultado entre los sistemas evaluados. En otros tres benchmarks de análisis de documentos (PureDocBench, Real5-OmniDocBench, MDPBench) también quedó por delante de todos los modelos comparados.

En OCRBench v2, un test que evalúa el reconocimiento de texto en condiciones complejas en dos idiomas, OvisOCR3 obtuvo el primer lugar con 65,9 puntos en inglés y 61,3 en chino. También superó a sus competidores en los cuatro benchmarks de extracción de información de documentos (KIE) y en el OCRBench estándar.

Para la descripción de imágenes en documentos, el modelo mostró la mejor precisión en la delimitación de los bordes de la imagen, con una calidad de descripción cercana a la de Qwen3.8-Max, un modelo notablemente más grande. En la tarea de unir tablas entre páginas, OvisOCR3 superó a sus competidores en precisión al reconstruir los vínculos entre fragmentos de tabla (CrossTabBench) y en la calidad de reconstrucción de tablas cortadas (MPDocBench-Parse).

Qué significa esto para los ingenieros

La conclusión práctica es que no es necesario mantener un zoológico de cinco modelos distintos para distintos tipos de documentos: un único modelo compacto de 0,8 mil millones de parámetros, bien entrenado, cubre todo el espectro de tareas con una calidad a la altura de los especialistas. Esto reduce los costos de infraestructura y simplifica el despliegue para equipos que necesitan procesar flujos mixtos de documentos: escaneos, fotos, formularios e informes con tablas y gráficos. Al mismo tiempo, los autores reconocen abiertamente que, sin reequilibrar los datos de entrenamiento por tarea y sin la destilación de los profesores especializados, no sería posible lograr este resultado en un modelo compacto: simplemente mezclar los conjuntos de datos no es suficiente.