FineBooks de Hugging Face: el mejor OCR para libros históricos cuesta menos de 2 dólares por mil páginas

Hugging Face, junto con EleutherAI, ha publicado los resultados del proyecto FineBooks: el equipo probó 14 modelos de OCR abiertos en más de 2000 páginas de libros históricos. La mejor solución encontrada, el modelo dots.mocr, alcanza un 97,6% de precisión a nivel de carácter con un coste inferior a dos dólares por mil páginas.

Por qué hace falta redigitalizar los libros históricos

Los modelos de lenguaje se entrenan con enormes corpus de texto, y una parte considerable procede de libros digitalizados en archivos públicos. El problema es que la mayoría de esos libros se escanearon en las décadas de 1990 y 2000 con programas de OCR rudimentarios. El resultado son miles de errores sistemáticos: letras confundidas, palabras partidas, líneas perdidas, abreviaturas ilegibles.

Cuando ese texto «sucio» de OCR entra en la muestra de entrenamiento, el modelo aprende patrones distorsionados. Eso reduce la calidad de la generación, sobre todo en dominios donde los textos históricos tienen un peso importante: derecho, medicina, literatura clásica e historia de la ciencia.

FineBooks es un intento de Hugging Face y EleutherAI de abordar este problema de forma sistemática. El equipo eligió a propósito las páginas de libros históricos como el objeto más difícil para el OCR: tipografías antiguas no estándar, papel amarillento, tinta irregular y defectos de impresión propios de ediciones de siglos pasados. Antes de FineBooks no existía una comparación sistemática de soluciones de OCR abiertas centrada específicamente en material histórico.

Qué modelo resultó líder

La evaluación abarcó 14 sistemas de OCR abiertos sobre una muestra de más de 2000 páginas de ediciones históricas. El ganador, el modelo dots.mocr, obtuvo un 97,6% de precisión a nivel de carácter. Eso equivale a menos de 3 caracteres erróneos de cada 100, un umbral a partir del cual el texto resulta apto para construir datasets de entrenamiento de grandes modelos de lenguaje.

Las cifras clave del proyecto FineBooks:

• 14 modelos de OCR abiertos comparados con una metodología común
• Más de 2000 páginas de libros históricos en la muestra de prueba
• Líder: dots.mocr, con un 97,6% de precisión a nivel de carácter
• Coste de procesamiento: menos de $2 por mil páginas

El aspecto económico es fundamental. Con un coste inferior a $2 por mil páginas, procesar un corpus de un millón de páginas sale por menos de $2000, un presupuesto realista para las organizaciones de investigación en IA sin ánimo de lucro que trabajan en la creación de datasets abiertos.

Dónde aún falta precisión

Los autores de FineBooks reconocen con franqueza las limitaciones. Un 97,6% basta para preparar datos de entrenamiento de IA, pero no para transcripciones académicas. Las transcripciones científicas exigen una reproducción casi perfecta del original: los especialistas en historia y textología trabajan con textos en los que cada coma tiene carga semántica, y el umbral de error admisible es un orden de magnitud inferior al de los datasets de IA.

«Los resultados son lo bastante buenos para los datos de entrenamiento de IA, pero aún no alcanzan el nivel necesario para las transcripciones científicas», según los materiales del proyecto

FineBooks, publicados conjuntamente por Hugging Face y EleutherAI.

Es una distinción importante: el estudio señala con honestidad los límites de aplicabilidad de dots.mocr y no pretende ofrecer una solución universal. dots.mocr cubre las necesidades de la industria de la IA, pero la comunidad académica sigue esperando una mayor precisión.

Qué significa

FineBooks ofrece a la industria una referencia práctica y concreta: dots.mocr es una herramienta económicamente justificada para redigitalizar a gran escala archivos históricos con el fin de entrenar LLM. Según Hugging Face y EleutherAI, el problema del texto «sucio» de OCR en los corpus de entrenamiento es real y se puede resolver ya, sin esperar a soluciones comerciales caras. FineBooks abre el camino para que millones de páginas de libros históricos pasen por fin a formar parte de pleno derecho de los corpus de entrenamiento de los modelos de lenguaje abiertos.