Zhipu AI lança GLM-OCR, modelo de OCR compacto com 0,9 bilhão de parâmetros para documentos

A Zhipu AI, junto com pesquisadores da Universidade Tsinghua, apresentou o GLM-OCR, um modelo de OCR multimodal de 0,9 bilhão de parâmetros para processar documentos reais. A aposta não está no tamanho máximo, mas no equilíbrio entre qualidade, velocidade e custo de inferência.

Por que o OCR é difícil

O OCR tradicional há tempos lida razoavelmente bem com texto limpo em digitalizações planas, mas os documentos reais são bem mais bagunçados. Neles se misturam tabelas, fórmulas, carimbos, campos manuscritos, blocos de código, colunas e ordem de leitura fora do padrão. É nesses casos que os pipelines clássicos falham: reconhecem os caracteres, mas perdem a estrutura da página e o sentido das relações entre os blocos.

Grandes modelos multimodais melhoram a compreensão do documento como um todo, mas trazem outro problema: custo e velocidade. Se o modelo lê a página como um sistema visão-linguagem comum e gera a resposta um token por vez, a inferência fica cara e lenta. Em produção, onde é preciso processar faturas, contratos, relatórios e formulários em fluxo contínuo, isso é uma limitação de engenharia, não um detalhe acadêmico.

Como o GLM-OCR funciona

O GLM-OCR combina um codificador visual CogViT de 0,4 bilhão de parâmetros, um conector multimodal leve e um decodificador de linguagem GLM de 0,5 bilhão de parâmetros.

A principal ideia técnica é o Multi-Token Prediction. Em vez de prever estritamente um token por passo, o modelo foi treinado para produzir dez, e na inferência gera em média 5,2 tokens por passo. Segundo os autores, isso dá cerca de 50% de ganho de vazão sem aumento brusco de memória, graças a um esquema de compartilhamento de parâmetros.

No nível do sistema, o modelo também não opera num modo plano de "ler a página inteira de uma vez". Primeiro, o PP-DocLayout-V3 divide o documento em regiões semânticas e, depois, o GLM-OCR reconhece as regiões individuais em paralelo. Para o parsing de documentos, a saída é Markdown e JSON estruturados. Para KIE, ou seja, extração de campos-chave, a imagem completa do documento é enviada junto com um prompt e o modelo gera diretamente um JSON conforme um esquema definido.

• Divide as páginas em regiões antes do reconhecimento
• Processa em paralelo os blocos encontrados
• Retorna Markdown e JSON estruturados
• Oferece um modo KIE separado para extração de campos
• Serve tanto para API na nuvem quanto para execução local

O que os testes mostraram

Em benchmarks públicos, os resultados do modelo são fortes, mas sem liderança universal. O GLM-OCR marcou 94,6 no OmniDocBench v1.5, 94,0 no OCRBench para reconhecimento de texto, 96,5 no UniMERNet para fórmulas e 86,0 no TEDS_TEST para tabelas. Em tarefas de extração de campos, o modelo obteve 93,7 no Nanonets-KIE e 86,1 no Handwritten-KIE. É um bom conjunto de números para um modelo desse tamanho, sobretudo em comparação com sistemas multimodais bem mais pesados.

Os próprios autores fazem ressalvas importantes. No PubTabNet, o GLM-OCR não é o primeiro: o MinerU 2.5 tem 88,4 contra 85,2. E, na coluna de modelos de referência, o Gemini-3-Pro apresenta resultados melhores em KIE. Ou seja, a formulação correta é que o GLM-OCR está entre os líderes das soluções abertas e compactas, mas não supera todos os demais em todos os cenários.

Na prática, o projeto não parece apenas de laboratório. Os autores declaram suporte a vLLM, SGLang e Ollama, além de fine-tuning via LLaMA-Factory. O relatório indica vazão de 0,67 imagem por segundo e 1,86 página de PDF por segundo na configuração de testes deles. Para o modo em nuvem, há uma API MaaS por 0,2 yuan por milhão de tokens: pelos cálculos da equipe, um yuan rende cerca de 2000 digitalizações A4 ou 200 PDFs simples de dez páginas.

O que isso significa

O mercado de IA para documentos vem migrando cada vez mais de modelos universais gigantes para sistemas especializados mais compactos, nos quais importam não só a qualidade, mas também um custo previsível. Para as empresas, é um bom sinal: processar faturas, contratos, artigos científicos e formulários internos em produção fica cada vez mais fácil, sem gastos excessivos com hardware e inferência.