Wieszcz-XIX : un corpus polonais d'avant 1918 de 3,1 milliards de mots pour entraîner des modèles de zéro

Le polonais historique manque de données lisibles par machine. Pour la période 1800–1918, on dispose d'environ un million de mots de textes annotés ; le reste dort dans des scans dont l'OCR est de qualité variable. À partir de ces scans, les auteurs de Wieszcz-XIX ont constitué un corpus de 6,75 milliards de tokens, soit environ 3,1 milliards de mots, répartis en 294 369 documents.

La plupart sont des numéros de périodiques. Le corpus dépasse de plus de trois ordres de grandeur son équivalent annoté. Les chercheurs y ont entraîné de zéro une famille de modèles de 47M à 349M de paramètres, puis ont vérifié dans quelle mesure ces modèles « ignorent » bien ce qui s'est passé après 1918.

Le corpus : un OCR sale, mais des défauts pris en compte

Les sources sont Wolne Lektury et Internet Archive. Le pipeline filtre les textes, supprime les doublons, recherche les fuites de textes postérieurs à 1918 et répartit les données en échantillons au niveau du document. Les auteurs ne cachent pas les défauts : ils les mesurent.

• 6,75 milliards de tokens, environ 3,1 milliards de mots, 294 369 documents ;
• la part de textes postérieurs à la guerre restée dans le corpus d'entraînement est de 0,04–0,38% des octets, et le reliquat se trouve dans une source transcrite ;
• sur un échantillon corrigé à la main, le taux d'erreur par caractère est de 0,68% là où le texte est lisible ;
• 45% des fragments sélectionnés ne peuvent pas être corrigés ;
• les doublons quasi identiques ont été supprimés.

Le corpus publié correspond document pour document au corpus d'entraînement, ce qui permet de vérifier les résultats sur les mêmes données.

Des modèles sans futur

Tous les modèles sont des decoder-only entraînés de zéro, sans fine-tuning d'une base moderne. Les auteurs les ont comparés à deux modèles de base polonais modernes, dont l'un est nettement plus grand. Le modèle de 349M montre un « croisement » avec eux ; il en va de même pour celui de 107M face à un modèle de taille proche. Le lexique postérieur à 1918 coûte aux modèles historiques environ 3,1 bits par octet de plus que le lexique de l'époque. Les modèles modernes ne présentent pas un tel écart. Les mots de la période coûtent moins cher aux modèles historiques qu'aux modèles modernes.

Il y a aussi un effet qualitatif. Lorsqu'on soumet à un modèle un texte de l'époque, il en conserve l'orthographe, alors que les modèles modernes ne le font que partiellement. Pour le travail sur les sources, c'est important : le modèle ne « modernise » pas la graphie au fil de la continuation.

Un autre résultat concerne les ressources. Ajouter des paramètres rapporte environ deux fois plus qu'un second passage sur les mêmes données. Avec 3,1 milliards de mots, c'est un argument en faveur de l'augmentation de la taille du modèle plutôt que de la répétition des époques d'entraînement.

Mise en garde et usages pratiques

Les auteurs avertissent expressément que les modèles reproduisent les préjugés de l'époque, y compris des propos antisémites. Les données n'ont pas été nettoyées de ces contenus et ne doivent pas être présentées comme une source neutre.

Pour les chercheurs, l'intérêt pratique tient en trois points. Le corpus, le code et les poids sont ouverts : on peut donc bâtir dessus des travaux historiques, par exemple la normalisation de l'orthographe, la recherche dans les archives de presse ou l'amélioration de l'OCR lui-même. Les modèles sont petits, jusqu'à 349M de paramètres, et tournent sur du matériel modeste.

La méthode de mesure de la « limitation temporelle », fondée sur l'écart en bits par octet entre le lexique de l'époque et un lexique plus tardif, peut être transposée à d'autres langues et à d'autres périodes pour lesquelles de la presse périodique numérisée existe. La limite est évidente : près de la moitié des fragments vérifiés ne se prêtent pas à une correction manuelle, donc la qualité dépend des scans d'origine, et l'usage des modèles pour des publications exige une vérification par rapport aux sources.