FineBooks, da Hugging Face: o melhor OCR para livros históricos custa menos de US$ 2 por mil páginas

A Hugging Face, em parceria com a EleutherAI, publicou os resultados do projeto FineBooks: a equipe testou 14 modelos de OCR abertos em mais de 2000 páginas de livros históricos. A melhor solução encontrada, o modelo dots.mocr, atinge 97,6% de precisão em nível de caractere a um custo de menos de dois dólares por mil páginas.

Por que redigitalizar livros históricos

Os modelos de linguagem são treinados em enormes corpora de texto, e uma parte significativa deles vem de livros digitalizados a partir de arquivos públicos. O problema é que a maioria desses livros foi escaneada nos anos 1990 e 2000 com programas de OCR primitivos. O resultado são milhares de erros sistemáticos: letras trocadas, palavras partidas, linhas perdidas, abreviaturas ilegíveis.

Quando esse texto de OCR "sujo" entra na amostra de treinamento, o modelo aprende com padrões distorcidos. Isso reduz a qualidade da geração, principalmente em domínios onde textos históricos ocupam uma fatia considerável: direito, medicina, literatura clássica, história da ciência.

O FineBooks é uma tentativa da Hugging Face e da EleutherAI de resolver esse problema de forma sistemática. A equipe escolheu de propósito páginas de livros históricos como o material mais difícil para OCR: fontes antigas fora do padrão, papel amarelado, tinta irregular, defeitos tipográficos de edições de séculos passados. Antes do FineBooks, não existia uma comparação sistemática de soluções abertas de OCR especificamente sobre material histórico.

Qual modelo saiu na frente

O teste abrangeu 14 sistemas de OCR abertos, aplicados a uma amostra de mais de 2000 páginas de edições históricas. O vencedor, o modelo dots.mocr, atingiu 97,6% de precisão em nível de caractere. Isso significa menos de 3 caracteres errados a cada 100, um limite a partir do qual o texto se torna adequado para formar datasets de treinamento de grandes modelos de linguagem.

Os principais números do projeto FineBooks:

• 14 modelos de OCR abertos comparados em uma metodologia única
• Mais de 2000 páginas de livros históricos na amostra de teste
• Líder: dots.mocr, com 97,6% de precisão em nível de caractere
• Custo de processamento: menos de US$ 2 por mil páginas

O lado econômico é decisivo. Com custo abaixo de US$ 2 por mil páginas, reprocessar um corpus de um milhão de páginas sai por menos de US$ 2000, um orçamento realista para organizações de pesquisa em IA sem fins lucrativos que trabalham na criação de datasets abertos.

Onde a precisão ainda não basta

Os autores do FineBooks reconhecem as limitações com franqueza. Os 97,6% são suficientes para preparar dados de treinamento de IA, mas insuficientes para transcrições acadêmicas. Transcrições científicas exigem uma reprodução praticamente perfeita do original: especialistas em história e crítica textual trabalham com textos em que cada vírgula carrega significado, e o limite aceitável de erros é uma ordem de grandeza menor do que o exigido para datasets de IA.

"Os resultados são bons o bastante para dados de treinamento de IA, mas ainda não chegam ao nível necessário para transcrições acadêmicas", diz o material do projeto

FineBooks, publicado em conjunto pela Hugging Face e pela EleutherAI.

A distinção é importante: o estudo delimita com clareza até onde o dots.mocr se aplica e não pretende ser uma solução universal. O dots.mocr atende às necessidades da indústria de IA, mas a comunidade acadêmica ainda espera uma precisão maior.

O que isso significa

O FineBooks dá à indústria uma referência prática: o dots.mocr é uma ferramenta economicamente viável para a redigitalização em larga escala de arquivos históricos com o objetivo de treinar LLMs. Segundo a Hugging Face e a EleutherAI, o problema do texto de OCR "sujo" nos corpora de treinamento é real e já pode ser resolvido agora, sem esperar por soluções comerciais caras. O FineBooks abre caminho para que milhões de páginas de livros históricos finalmente passem a fazer parte, de forma plena, dos corpora de treinamento de modelos de linguagem abertos.