Wieszcz-XIX: corpus polonês anterior a 1918, com 3,1 bilhões de palavras, treina modelos do zero

O polonês histórico sofre com a falta de dados legíveis por máquina. Para o período de 1800–1918, existem cerca de um milhão de palavras anotadas; o restante está em scans com OCR de qualidade variável. Os autores do Wieszcz-XIX montaram, a partir desses scans, um corpus de 6,75 bilhões de tokens, ou cerca de 3,1 bilhões de palavras, em 294 369 documentos. A maior parte deles são edições de periódicos. O corpus é mais de três ordens de grandeza maior que o equivalente anotado. Sobre ele, a equipe treinou do zero uma família de modelos de 47M a 349M de parâmetros e avaliou o quanto eles "desconhecem" o que aconteceu depois de 1918.

Corpus: OCR sujo, mas com os defeitos medidos

As fontes são o Wolne Lektury e o Internet Archive. O pipeline filtra os textos, remove duplicatas, verifica vazamentos de conteúdo posterior a 1918 e divide os dados em amostras no nível do documento. Os autores não escondem os defeitos; eles os medem:

• 6,75 bilhões de tokens, cerca de 3,1 bilhões de palavras, 294 369 documentos;
• a fatia de textos do pós-guerra que permaneceu no corpus de treinamento é de 0,04–0,38% dos bytes, e o resíduo foi encontrado em uma fonte transcrita;
• em uma amostra corrigida manualmente, a taxa de erro por caractere é de 0,68% nos trechos em que o texto é legível;
• 45% dos fragmentos selecionados não podem ser corrigidos;
• duplicatas quase idênticas foram removidas.

O corpus publicado coincide, documento a documento, com o usado no treinamento, de modo que é possível verificar os resultados com os mesmos dados.

Modelos sem futuro

Todos os modelos são decoder-only, treinados do zero, sem ajuste fino de uma base moderna. Eles foram comparados a dois modelos-base poloneses modernos, um dos quais é bem maior. O modelo de 349M apresenta um "cruzamento" com esses modelos, e o mesmo ocorre com o de 107M na comparação com um modelo de tamanho próximo. O vocabulário posterior a 1918 custa aos modelos históricos cerca de 3,1 bits por byte a mais que o vocabulário da época. Os modelos modernos não apresentam essa diferença. As palavras do período custam menos aos modelos históricos do que aos modernos.

Há também um efeito qualitativo. Quando recebe um texto da época, o modelo histórico preserva a ortografia original, enquanto os modernos só o fazem em parte. Para o trabalho com fontes, isso importa: o modelo não "atualiza" a grafia ao continuar o texto.

Outro resultado diz respeito a recursos. Adicionar parâmetros rende um ganho cerca de duas vezes maior que uma segunda passada pelos mesmos dados. Com 3,1 bilhões de palavras, esse é um argumento a favor de escalar o modelo, e não de repetir épocas de treinamento.

Alerta e uso prático

Os autores alertam expressamente que os modelos reproduzem preconceitos da época, incluindo declarações antissemitas. Os dados não foram limpos desse conteúdo e não devem ser tratados como uma fonte neutra.

Para pesquisadores, a utilidade prática está em três pontos. Corpus, código e pesos são abertos, então é possível construir sobre eles estudos históricos, como normalização ortográfica, busca em arquivos de imprensa ou melhoria do próprio OCR. Os modelos são pequenos, de até 349M de parâmetros, e rodam em hardware modesto.

O método de medir a "limitação temporal" pela diferença em bits por byte entre o vocabulário da época e o vocabulário posterior pode ser transposto para outros idiomas e períodos que tenham periódicos digitalizados. A limitação é evidente: quase metade dos fragmentos verificados não pode ser corrigida manualmente, o que significa que a qualidade depende dos scans originais, e o uso dos modelos em publicações exige conferência com as fontes.