FineBooks de Hugging Face : le meilleur OCR pour les livres anciens coûte moins de 2 $ les mille pages

Hugging Face, en collaboration avec EleutherAI, publie les résultats du projet FineBooks : l'équipe a testé 14 modèles d'OCR ouverts sur plus de 2000 pages de livres anciens. La meilleure solution, le modèle dots.mocr, atteint 97,6 % de précision au niveau du caractère pour un coût inférieur à deux dollars les mille pages.

Pourquoi numériser à nouveau les livres anciens

Les modèles de langage s'entraînent sur d'immenses corpus de textes, dont une part importante provient de livres numérisés issus d'archives publiques. Le problème : la plupart de ces ouvrages ont été scannés dans les années 1990 et 2000 avec des logiciels d'OCR rudimentaires. Résultat : des milliers d'erreurs systématiques, avec des lettres confondues, des mots coupés, des lignes perdues et des abréviations illisibles.

Quand ce texte OCR « sale » se retrouve dans le jeu d'entraînement, le modèle apprend à partir de motifs déformés. La qualité de génération en pâtit, surtout dans les domaines où les textes historiques pèsent lourd : droit, médecine, littérature classique, histoire des sciences.

FineBooks est une tentative de Hugging Face et d'EleutherAI de traiter ce problème de façon systématique. L'équipe a délibérément choisi des pages de livres anciens, l'objet le plus difficile pour l'OCR : anciennes polices non standard, papier jauni, encre irrégulière, défauts d'impression des éditions des siècles passés. Avant FineBooks, il n'existait aucune comparaison systématique des solutions d'OCR ouvertes sur ce type de matériau historique.

Quel modèle sort en tête

Le test a porté sur 14 systèmes d'OCR ouverts, appliqués à un échantillon de plus de 2000 pages d'éditions anciennes. Le vainqueur, dots.mocr, affiche 97,6 % de précision au niveau du caractère. Cela représente moins de 3 caractères erronés pour 100, un seuil à partir duquel le texte devient exploitable pour constituer des datasets d'entraînement de grands modèles de langage.

Les chiffres clés du projet FineBooks :

• 14 modèles d'OCR ouverts comparés selon une méthodologie unique
• Plus de 2000 pages de livres anciens dans l'échantillon de test
• Le meilleur, dots.mocr : 97,6 % de précision au niveau du caractère
• Coût de traitement : moins de 2 $ les mille pages

L'aspect économique est déterminant. À moins de 2 $ les mille pages, retraiter un corpus d'un million de pages coûte moins de 2000 $, un budget réaliste pour les organisations de recherche en IA à but non lucratif qui construisent des datasets ouverts.

Là où la précision reste insuffisante

Les auteurs de FineBooks reconnaissent franchement les limites de leurs résultats. Les 97,6 % suffisent pour préparer des données d'entraînement d'IA, mais pas pour des transcriptions académiques. Les transcriptions scientifiques exigent une reproduction quasi parfaite de l'original : les historiens et les spécialistes de la critique textuelle travaillent sur des textes où chaque virgule porte du sens, et le taux d'erreur toléré y est inférieur d'un ordre de grandeur à celui des datasets d'IA.

«

Les résultats sont assez bons pour les données d'entraînement d'IA, mais n'atteignent pas encore le niveau requis pour les transcriptions scientifiques », indiquent les documents du projet FineBooks, publiés conjointement par Hugging Face et EleutherAI.

La distinction est importante : l'étude fixe honnêtement la limite d'applicabilité de dots.mocr, sans prétendre offrir une solution universelle. dots.mocr répond aux besoins de l'industrie de l'IA, mais la communauté académique attend une précision supérieure.

Ce que cela signifie

FineBooks donne à l'industrie un repère concret : dots.mocr est un outil économiquement justifié pour numériser à nouveau, à grande échelle, des archives historiques en vue de l'entraînement de LLM. Selon Hugging Face et EleutherAI, le problème du texte OCR « sale » dans les corpus d'entraînement est réel et peut être traité dès maintenant, sans attendre des solutions commerciales coûteuses. FineBooks ouvre la voie pour que des millions de pages de livres anciens deviennent enfin une partie à part entière des corpus d'entraînement des modèles de langage ouverts.