OvisOCR3, com 0,8 bi de parâmetros, supera modelos de OCR: 96,74 no OmniDocBench v1.6

Pesquisadores da ATH-MaaS apresentaram o OvisOCR3, um modelo vision-language compacto, de 0,8 bi de parâmetros, que substitui todo um conjunto de sistemas de OCR superespecializados. Um único conjunto de pesos analisa documentos, reconhece texto em imagens arbitrárias, extrai campos-chave de formulários e recibos, descreve gráficos e ilustrações dentro de documentos e junta tabelas que se estendem por várias páginas. No OmniDocBench v1.6, o modelo fez 96,74 pontos e, no OCRBench v2, ficou em primeiro lugar. Os pesos e exemplos de inferência estão publicados no Hugging Face, no repositório ATH-MaaS/OvisOCR3.

Cinco professores de 4 bi de parâmetros para um único aluno

O ponto mais curioso do projeto é como encaixar cinco habilidades diferentes em 0,8B. Os autores começam refinando o modelo com uma mistura de dados reais e sintéticos (continued pretraining). Em seguida vem a etapa de domain-balanced mid-training: as tarefas diferem muito em volume de dados e em tamanho das respostas. Uma página convertida em Markdown e um campo curto extraído de um recibo são textos de ordens de grandeza diferentes, e sem balanceamento as tarefas longas facilmente sufocariam as curtas.

Depois entra em ação a multi-teacher on-policy distillation. Cinco professores de domínio, de 4 bi de parâmetros cada, um para cada frente, transferem conhecimento para o modelo único. Destilação on-policy significa que o próprio aluno gera as respostas, enquanto os professores as avaliam e corrigem. A cadeia termina com mixed-task reinforcement learning e recompensas por domínio: cada tipo de tarefa tem sua própria métrica de qualidade.

Onde o modelo saiu na frente

Os autores compararam o OvisOCR3 com VLMs de uso geral e com modelos de OCR especializados, em benchmarks públicos e internos. Resultados nas cinco famílias de tarefas:

• OmniDocBench v1.6 (análise de documentos): pontuação geral de 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench: maior pontuação geral entre os modelos comparados.
• OCRBench v2: primeiro lugar, com 65,9 no split em inglês e 61,3 no split em chinês.
• OCRBench: o modelo supera os modelos de referência usados na comparação.
• Quatro benchmarks de extração de informações-chave (KIE): melhores resultados nos quatro.
• DocFigCapBench (legendas para ilustrações de documentos): melhor localization F1; a qualidade das legendas fica próxima à do Qwen3.8-Max.
• CrossTabBench (tabelas que atravessam várias páginas): liderança em Relation F1.
• MPDocBench-Parse: melhor TEDS em tabelas cortadas.

O primeiro lugar no OCRBench v2 já tem peso por si só: esse benchmark avalia não apenas a leitura de texto, mas também diferentes cenários de trabalho com ele em dois idiomas. O resultado no split em chinês é menor que o do inglês, mas o modelo lidera nos dois.

Tabelas que não cabem em uma página

A reconstrução de tabelas entre páginas merece atenção especial. Relatórios financeiros, especificações e registros costumam jogar linhas para a página seguinte, e o parser comum, que trabalha página a página, quebra a estrutura: o cabeçalho fica em uma página e os dados vão para outra. O OvisOCR3 restabelece as relações entre os fragmentos, e é justamente aqui que ele lidera em Relation F1 e em TEDS nas tabelas cortadas. Para tarefas como carregar documentos em um pipeline de RAG ou automatizar a contabilidade, esse é um problema que antes se resolvia com gambiarras.

O modelo chega em meio a uma onda de trabalhos semelhantes. A busca semântica do Hugging Face mostra, ao lado dele, PolyOCR-Venus, Xiaomi-OCR-0, Jina-OCR-v1 e um trabalho sobre VLMs leves para OCR com JSON estruturado. O mercado claramente caminha para modelos pequenos e unificados, no lugar de cadeias com detector, reconhecedor e pós-processamento.

Para quem vale testar

Com 0,8 bi de parâmetros, o modelo pode rodar em hardware modesto: em uma única placa de vídeo de consumo, em ambiente privado, sem enviar documentos para uma API externa. Isso interessa a equipes que processam digitalizações de contratos, faturas, fichas cadastrais e relatórios com milhares de páginas. Um único motor no lugar de cinco simplifica o deploy e a manutenção.

As limitações também são claras: as comparações foram feitas pelos próprios autores, e parte dos benchmarks é interna. Por isso, antes de mexer no pipeline de produção, vale rodar o modelo nos seus próprios documentos, principalmente com fontes raras, digitalizações ruins e tabelas de várias páginas. Os próprios autores pedem feedback da comunidade, então as primeiras medições independentes devem aparecer rápido.