Wieszcz-XIX: un corpus polaco anterior a 1918 con 3.100 millones de palabras entrena modelos desde cero

Al polaco histórico le faltan datos legibles por máquina. Del periodo 1800–1918 hay unos 1 millón de palabras de textos anotados; el resto está en escaneos con OCR de calidad desigual. Los autores de Wieszcz-XIX reunieron a partir de esos escaneos un corpus de 6,75 mil millones de tokens, o unos 3,1 mil millones de palabras, en 294 369 documentos. La mayor parte son números de publicaciones periódicas. El corpus supera en más de tres órdenes de magnitud al equivalente anotado. Con él entrenaron desde cero una familia de modelos de 47M a 349M de parámetros y comprobaron hasta qué punto «desconocen» lo ocurrido después de 1918.

Corpus: OCR sucio, pero con los defectos medidos

Las fuentes son Wolne Lektury e Internet Archive. El pipeline filtra los textos, elimina duplicados, comprueba que no haya filtraciones de después de 1918 y reparte los datos en conjuntos a nivel de documento. Los autores no ocultan los defectos: los miden.

• 6,75 mil millones de tokens, unos 3,1 mil millones de palabras, 294 369 documentos;
• la proporción de textos posteriores a la guerra que quedaron en el corpus de entrenamiento es del 0,04–0,38% de los bytes, y el remanente se encontró en la fuente transcrita;
• en la muestra corregida a mano, la tasa de error por carácter es del 0,68% donde el texto es legible;
• el 45% de los fragmentos seleccionados no se puede corregir;
• se eliminaron los duplicados casi idénticos.

El corpus publicado coincide con el de entrenamiento documento a documento, de modo que los resultados pueden verificarse con los mismos datos.

Modelos sin futuro

Todos los modelos son decoder-only y se entrenaron desde cero, sin ajustar una base moderna. Los autores los compararon con dos modelos base polacos modernos, uno de ellos notablemente mayor. El modelo de 349M muestra un «cruce» con ellos, y lo mismo ocurre con el de 107M al compararlo con un modelo de tamaño similar. El léxico posterior a 1918 les cuesta a los modelos históricos unos 3,1 bits por byte más que el léxico de la época. Los modelos modernos no presentan esa brecha. Las palabras del periodo les cuestan menos a los modelos históricos que a los modernos.

Hay también un efecto cualitativo. Si se le muestra al modelo un texto de la época, conserva su ortografía; los modelos modernos lo hacen solo en parte. Para el trabajo con fuentes es un punto importante: el modelo no «moderniza» la grafía a medida que continúa el texto.

Otro resultado afecta a los recursos. Añadir parámetros da una mejora aproximadamente el doble de grande que una segunda pasada por los mismos datos. Con 3,1 mil millones de palabras, es un argumento a favor de escalar el modelo en lugar de repetir épocas.

Advertencia y uso práctico

Los autores advierten expresamente de que los modelos reproducen los prejuicios de la época, incluidas declaraciones antisemitas. Los datos no se han depurado de ese contenido y no deben presentarse como una fuente neutral.

Para los investigadores, la utilidad práctica está en tres aspectos. El corpus, el código y los pesos son abiertos, así que sobre ellos pueden construirse estudios históricos, como la normalización ortográfica, la búsqueda en archivos de prensa o la mejora del propio OCR. Los modelos son pequeños, de hasta 349M de parámetros, y se ejecutan en hardware modesto.

El método para medir la «limitación temporal» a partir de la diferencia en bits por byte entre el léxico de la época y el posterior puede trasladarse a otros idiomas y periodos que cuenten con prensa digitalizada. La limitación es evidente: casi la mitad de los fragmentos revisados no admite corrección manual, de modo que la calidad depende de los escaneos originales, y quien use los modelos para publicaciones debe contrastar el resultado con las fuentes.