Zhipu AI lanza GLM-OCR, un modelo OCR compacto de 0,9 B de parámetros para documentos

Zhipu AI, junto con investigadores de la Universidad de Tsinghua, ha presentado GLM-OCR, un modelo OCR multimodal de 0,9 mil millones de parámetros para analizar documentos reales. La apuesta no es el tamaño máximo, sino el equilibrio entre calidad, velocidad y coste de inferencia.

Por qué el OCR es difícil

El OCR convencional lleva tiempo manejando bastante bien el texto limpio en escaneos planos, pero los documentos reales son mucho más desordenados. En ellos se mezclan tablas, fórmulas, sellos, campos manuscritos, bloques de código, columnas y un orden de lectura no estándar. En esos casos fallan los pipelines clásicos: reconocen caracteres, pero pierden la estructura de la página y el sentido de las relaciones entre bloques.

Los grandes modelos multimodales mejoran la comprensión del documento completo, pero tienen otro problema: coste y velocidad. Si el modelo lee la página como un sistema visión-lenguaje corriente y genera la respuesta token a token, la inferencia resulta cara y lenta. En producción, donde hay que procesar facturas, contratos, informes y formularios de forma continua, esto es una limitación de ingeniería, no un detalle académico.

Cómo funciona GLM-OCR

GLM-OCR combina un codificador visual CogViT de 0,4 mil millones de parámetros, un conector multimodal ligero y un decodificador de lenguaje GLM de 0,5 mil millones de parámetros.

La idea técnica central es Multi-Token Prediction. En lugar de predecir estrictamente un token por paso, el modelo se entrenó para producir diez, y en inferencia genera de media 5,2 tokens por paso. Según los autores, esto supone un aumento de rendimiento de alrededor del 50 % sin un fuerte incremento de memoria, gracias a un esquema de compartición de parámetros.

A nivel de sistema, el modelo tampoco funciona en un modo plano de «leer toda la página de una vez». Primero, PP-DocLayout-V3 divide el documento en regiones semánticas y después GLM-OCR reconoce las regiones por separado en paralelo. Para el análisis de documentos, la salida es Markdown y JSON estructurados. Para KIE, es decir, la extracción de campos clave, la imagen completa del documento se envía junto con un prompt y el modelo genera directamente un JSON según un esquema dado.

• Divide las páginas en regiones antes del reconocimiento
• Procesa en paralelo los bloques detectados
• Devuelve Markdown y JSON estructurados
• Admite un modo KIE aparte para extraer campos
• Sirve tanto para API en la nube como para ejecución local

Qué mostraron las pruebas

En benchmarks públicos, los resultados del modelo son sólidos, pero sin liderazgo universal. GLM-OCR obtuvo 94,6 en OmniDocBench v1.5, 94,0 en OCRBench para reconocimiento de texto, 96,5 en UniMERNet para fórmulas y 86,0 en TEDS_TEST para tablas. En tareas de extracción de campos, el modelo logró 93,7 en Nanonets-KIE y 86,1 en Handwritten-KIE. Son buenas cifras para un modelo de este tamaño, sobre todo frente a sistemas multimodales bastante más pesados.

Los propios autores hacen salvedades importantes. En PubTabNet, GLM-OCR no es primero: MinerU 2.5 logra 88,4 frente a 85,2. Y en la columna de modelos de referencia, Gemini-3-Pro muestra mejores resultados en KIE. Así, la formulación correcta es que GLM-OCR figura entre los líderes de las soluciones abiertas y compactas, pero no supera a todos en todos los escenarios.

En lo práctico, el proyecto no parece puramente de laboratorio. Los autores declaran compatibilidad con vLLM, SGLang y Ollama, además de ajuste fino mediante LLaMA-Factory. El informe indica un rendimiento de 0,67 imágenes por segundo y 1,86 páginas de PDF por segundo en su configuración de pruebas. Para el modo en la nube hay una API MaaS a 0,2 yuanes por millón de tokens: según los cálculos del equipo, un yuan alcanza para unos 2000 escaneos A4 o 200 PDF sencillos de diez páginas.

Qué significa

El mercado de IA para documentos se desplaza cada vez más de los modelos universales gigantes hacia sistemas especializados más compactos, donde importa no solo la calidad, sino también un coste predecible. Para las empresas es una buena señal: analizar facturas, contratos, artículos científicos y formularios internos en producción resulta cada vez más fácil sin gastos excesivos en hardware e inferencia.