OvisOCR3, com 0,8 bilhão de parâmetros, lidera cinco tarefas de OCR ao mesmo tempo

Uma equipe de 15 autores lançou o OvisOCR3, modelo de 0,8 bilhão de parâmetros que resolve cinco tarefas com um único conjunto de pesos: parsing de documentos, OCR universal, extração de informações-chave (KIE), legendas de figuras em documentos e montagem de tabelas que se estendem por várias páginas. No OmniDocBench v1.6, ele obtém 96,74 pontos e, no OCRBench v2, ocupa o primeiro lugar: 65,9 no split em inglês e 61,3 no split em chinês. Na comparação estão VLMs universais e modelos de OCR altamente especializados, e, segundo os resultados divulgados, o modelo pequeno supera vários deles.

Cinco professores para um aluno

O ponto central do trabalho é a forma como o modelo foi treinado. Primeiro, os autores fizeram continued pretraining com uma mistura de dados reais e sintéticos. Depois, acrescentaram uma etapa de mid-training com balanceamento de domínios. As tarefas diferem muito em volume de dados e em tamanho da resposta. Converter uma página inteira em marcação gera milhares de tokens, enquanto extrair um par de campos de um recibo cabe em poucas linhas. Sem balanceamento, os domínios longos poderiam facilmente sufocar os curtos, e essa etapa equilibra a contribuição de cada um no treinamento.

Em seguida vem a multi-teacher on-policy distillation. Cinco professores de domínio, de 4B cada, transmitem suas habilidades a um modelo geral cinco vezes menor que qualquer um deles. Na destilação on-policy, o aluno aprende com as próprias gerações, e os professores as avaliam. A etapa final é o mixed-task reinforcement learning, com recompensas específicas para cada domínio: tabelas, legendas e extração de campos usam critérios de qualidade diferentes.

Onde o OvisOCR3 está na frente

Os autores comparam o modelo em benchmarks públicos e internos, cobrindo as cinco famílias de tarefas. Resultados, segundo os dados deles:

• OmniDocBench v1.6 — pontuação geral de 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench — maior pontuação geral entre os modelos comparados.
• OCRBench v2 — primeiro lugar: 65,9 (split em inglês) e 61,3 (split em chinês).
• OCRBench — acima de todos os modelos de referência.
• Quatro benchmarks de KIE — acima dos modelos de referência em cada um deles.
• DocFigCapBench — melhor localization F1 e qualidade de legendas próxima à do Qwen3.8-Max.
• CrossTabBench — liderança em Relation F1 para tabelas que ocupam várias páginas.
• MPDocBench-Parse — melhor TEDS em tabelas truncadas.

Vale destacar as legendas de figuras. Aqui, o modelo de 0,8B quase alcança o Qwen3.8-Max e, em precisão de localização das figuras na página, supera todos os outros da comparação. É uma tarefa na fronteira entre visão e linguagem, em que costumam levar vantagem os grandes VLMs universais.

Tabelas que não cabem em uma página

Tabelas que atravessam páginas continuam sendo um ponto fraco de muitos pipelines de OCR. Um relatório financeiro, uma especificação técnica ou um extrato costumam levar a tabela para a folha seguinte, com o cabeçalho repetido ou perdido. Um parser comum enxerga dois fragmentos independentes, e a estrutura se desfaz. As métricas Relation F1, no CrossTabBench, e TEDS em tabelas truncadas, no MPDocBench-Parse, medem justamente a capacidade de restaurar as relações entre as partes. A liderança nelas indica que o modelo entende o documento como um todo, e não página por página.

Quem deve ficar de olho

Um único modelo no lugar de um conjunto de especializados simplifica a arquitetura. Não é preciso manter serviços separados para parsing, KIE e legendas de imagens, nem harmonizar os formatos de saída de cada um ou manter plantão para todos eles. O tamanho de 0,8B permite esperar inferência barata e execução em hardware modesto, embora os autores não publiquem comparações de custo e a velocidade tenha de ser verificada por conta própria.

Equipes que montam RAG sobre PDFs, processam contratos, notas fiscais e relatórios ou digitalizam documentos em chinês e inglês ganham um candidato para um teste rápido. O melhor é começar pelos documentos mais difíceis, com tabelas de várias páginas e figuras complexas. Os resultados nos dados próprios mostrarão até que ponto os números dos benchmarks se repetem em produção. A própria receita, com professores de domínio, destilação e RL com recompensas distintas, parece uma abordagem reproduzível também para outras tarefas multidomínio em que é preciso reunir vários especialistas em um único modelo compacto.