FineBooks от Hugging Face: лучший OCR для исторических книг стоит менее $2 за тысячу страниц

O Hugging Face, em parceria com a EleutherAI, publicou os resultados do projeto FineBooks: a equipe testou 14 modelos de OCR de código aberto em mais de 2.000 páginas de livros históricos. A melhor solução encontrada — o modelo dots.mocr — atinge 97,6% de precisão no nível de caracteres a um custo inferior a dois dólares por mil páginas.

Por que a redigitalização de livros históricos é necessária

Os modelos de linguagem são treinados em enormes corpora de texto, uma parte significativa dos quais é composta por livros digitalizados de arquivos públicos. O problema é que a maioria desses livros foi digitalizada nos anos 1990 e 2000 com softwares de OCR primitivos. O resultado são milhares de erros sistemáticos: letras trocadas, palavras partidas, linhas perdidas e abreviações ilegíveis.

Quando esse texto de OCR "sujo" entra em um conjunto de dados de treinamento, o modelo aprende a partir de padrões distorcidos. Isso reduz a qualidade da geração — especialmente em domínios onde os textos históricos representam uma parcela significativa: direito, medicina, literatura clássica e história da ciência.

O FineBooks é uma tentativa do Hugging Face e da EleutherAI de resolver esse problema de forma sistemática. A equipe escolheu deliberadamente páginas de livros históricos como o objeto mais desafiador para o OCR: fontes antigas não padronizadas, papel amarelado, tinta desigual e defeitos tipográficos de publicações de séculos passados. Antes do FineBooks, não existia uma comparação sistemática de soluções de OCR de código aberto especificamente com material histórico.

Qual modelo se destacou como líder

Os testes abrangeram 14 sistemas de OCR de código aberto em uma amostra de mais de 2.000 páginas de publicações históricas. O vencedor — o modelo dots.mocr — demonstrou 97,6% de precisão no nível de caracteres. Isso significa menos de 3 caracteres incorretos a cada 100 — um limiar a partir do qual o texto se torna adequado para a formação de conjuntos de dados de treinamento para grandes modelos de linguagem.

Números-chave do projeto FineBooks:

• 14 modelos de OCR de código aberto comparados com uma metodologia unificada
• Mais de 2.000 páginas de livros históricos na amostra de teste
• Líder — dots.mocr: 97,6% de precisão no nível de caracteres
• Custo de processamento — menos de US$ 2 por mil páginas

O aspecto econômico é fundamentalmente importante. Com um custo inferior a US$ 2 por mil páginas, o reprocessamento de um corpus de um milhão de páginas custa menos de US$ 2.000 — um orçamento realista para organizações de pesquisa de IA sem fins lucrativos que trabalham na criação de conjuntos de dados abertos.

Onde a precisão ainda é insuficiente

Os autores do FineBooks reconhecem honestamente as limitações. O índice de 97,6% é suficiente para preparar dados de treinamento de IA, mas insuficiente para transcrições acadêmicas. As transcrições acadêmicas exigem uma reprodução quase perfeita do original: especialistas em história e crítica textual trabalham com textos nos quais cada vírgula carrega significado, e o limiar de erro aceitável é uma ordem de grandeza inferior ao dos conjuntos de dados de IA.

"Os resultados são suficientemente bons para dados de treinamento de IA, mas ainda não atingiram o nível necessário para transcrições acadêmicas", conforme declarado nos materiais do projeto

FineBooks, publicados conjuntamente pelo Hugging Face e pela EleutherAI.

Essa é uma distinção importante: o estudo identifica honestamente o limite de aplicabilidade do dots.mocr, sem pretender ser uma solução universal. O dots.mocr atende às necessidades da indústria de IA, mas a comunidade acadêmica aguarda uma precisão ainda maior.

O que isso significa

O FineBooks oferece à indústria um referencial concreto e prático: o dots.mocr é uma ferramenta economicamente viável para a redigitalização em larga escala de arquivos históricos com o objetivo de treinar LLMs. Segundo o Hugging Face e a EleutherAI, o problema do texto de OCR "sujo" nos corpora de treinamento é real e já pode ser resolvido agora — sem esperar por soluções comerciais caras. O FineBooks abre caminho para que milhões de páginas de livros históricos finalmente se tornem parte integral dos corpora de treinamento de modelos de linguagem abertos.