OvisOCR3: um modelo de 0,8 bilhão de parâmetros que lê documentos melhor do que sistemas especializados

Por que um modelo pequeno em vez de cinco especializados

A equipe da ATH-MaaS apresentou o OvisOCR3, um modelo de reconhecimento e análise de documentos com apenas 0,8 bilhão de parâmetros, que resolve simultaneamente cinco tarefas diferentes e supera sistemas altamente especializados em diversas métricas. O modelo está disponível abertamente no HuggingFace.

Normalmente, analisar documentos exige um conjunto inteiro de ferramentas: uma para reconhecer texto impresso, outra para tabelas, uma terceira ajustada para extrair campos de formulários, uma quarta para descrever gráficos e imagens, e uma quinta para costurar tabelas divididas entre páginas de um PDF. Manter e operar cinco modelos é mais caro e mais complicado do que manter apenas um. Mas simplesmente misturar todas as tarefas em um único conjunto de treinamento não funciona: a transcrição completa de uma página envolve milhares de tokens de texto, enquanto extrair um único campo de uma fatura leva apenas algumas palavras.

Se a perda durante o treinamento for calculada token por token, as tarefas longas "sufocam" as curtas, e o modelo fica pior na extração pontual de dados.

Os autores resolveram esse problema com um treinamento em quatro etapas. Primeiro, um modelo baseado no Qwen3.5-0.

8B passou por um ajuste fino com 72 milhões de exemplos — livros didáticos, relatórios, anotações manuscritas e fotos de documentos tiradas pelo celular. Depois, o conjunto de dados foi reorganizado para que cada uma das cinco tarefas recebesse aproximadamente a mesma atenção do modelo (entre 16% e 23% de 8,8 milhões de exemplos por tarefa), independentemente do tamanho da resposta. Em seguida, entraram em ação cinco "professores" — modelos separados de 4 bilhões de parâmetros, cada um especialista em sua área específica.

Eles transmitiram seu conhecimento ao modelo pequeno final por meio do que é chamado de destilação on-policy: o modelo aprende a corrigir seus próprios erros sob a supervisão do professor, em vez de simplesmente reproduzir suas respostas. A etapa final foi o aprendizado por reforço, em que o modelo recebe uma recompensa separada para cada uma das cinco tarefas, ajustada às particularidades de cada uma.

O que o modelo faz na prática

O OvisOCR3 cobre cinco áreas:

• Análise de documentos — reconstrói a estrutura da página: texto, fórmulas em LaTeX, tabelas em HTML, ordem de leitura e disposição dos blocos na imagem
• Reconhecimento geral de texto (OCR) — dez modos diferentes, da leitura simples de texto à tradução de placas, reconhecimento de fórmulas, análise de gráficos e resposta a perguntas visuais com raciocínio
• Extração de informações-chave — extrai campos de formulários, faturas e documentos médicos, seguindo um esquema definido pelo usuário ou identificando por conta própria o que é importante no documento
• Descrição de imagens em documentos — localiza fotos, ilustrações, gráficos e fluxogramas em uma página e dá a cada um uma descrição curta em texto (até 100 palavras), construindo um diagrama de relações para fluxogramas
• Reconstrução de tabelas entre páginas — se uma tabela em um relatório é interrompida por uma quebra de página, o modelo detecta essa quebra e une os fragmentos em uma única tabela completa

Resultados nos benchmarks

No OmniDocBench v1.6, que avalia a precisão no reconhecimento de texto, fórmulas, tabelas e a correção da ordem de leitura, o modelo obteve 96,74 pontos de 100 — o melhor resultado entre os sistemas testados. Em outros três benchmarks de análise de documentos (PureDocBench, Real5-OmniDocBench, MDPBench), ele também ficou na frente de todos os modelos comparados.

No OCRBench v2, um teste que avalia o reconhecimento de texto em condições difíceis em dois idiomas, o OvisOCR3 ficou em primeiro lugar, com 65,9 pontos em inglês e 61,3 em chinês. Ele também superou os concorrentes nos quatro benchmarks de extração de informações de documentos (KIE) e no OCRBench padrão.

Na descrição de imagens em documentos, o modelo apresentou a melhor precisão na delimitação das bordas das imagens, com qualidade de legenda próxima à do Qwen3.8-Max — um modelo notavelmente maior. Na tarefa de unir tabelas entre páginas, o OvisOCR3 superou os concorrentes em precisão na reconstrução das conexões entre fragmentos de tabela (CrossTabBench) e na qualidade de reconstrução de tabelas cortadas (MPDocBench-Parse).

O que isso significa para os engenheiros

A conclusão prática é que não é preciso manter um zoológico de cinco modelos diferentes para diferentes tipos de documento: um único modelo compacto de 0,8 bilhão de parâmetros, treinado da forma certa, cobre todo o espectro de tarefas com qualidade equivalente à de especialistas. Isso reduz os custos de infraestrutura e simplifica a implantação para equipes que precisam processar fluxos mistos de documentos: digitalizações, fotos, formulários e relatórios com tabelas e gráficos. Ao mesmo tempo, os autores deixam claro que, sem reequilibrar os dados de treinamento por tarefa e sem a destilação a partir dos professores especializados, não seria possível alcançar esse resultado em um modelo compacto — simplesmente misturar os conjuntos de dados não é suficiente.