Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Un corpus pour le tatar de Crimée : 79 % des pages n'avaient pas besoin d'OCR, mais le turc s'est glissé dedans

Pour entraîner un réseau de neurones au tatar de Crimée, l'auteur a constitué un corpus à partir de vieux livres et d'émissions radio. Il a constaté que 79 % des pages en tatar de Crimée contenaient déjà une couche de texte sous l'image : l'OCR (reconnaissance de scans) n'était donc nécessaire que pour un cinquième d'entre elles. En revanche, la presse recelait des substitutions turques : dans les réponses de la nouvelle version du modèle, la part de formes turques est passée de 0,27 % à 2,02 %. La leçon : commencez par compter la composition de l'archive et calculez les métriques source par source.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un corpus pour le tatar de Crimée : 79 % des pages n'avaient pas besoin d'OCR, mais le turc s'est glissé dedans
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Doublons par contenu7,0 % des pages, introuvables par nom de fichier
Chiffre clé #2Trois sources fournissent 46 % de tous les tokens turcs, quatorze en fournissent 76 %
Chiffre clé #3La substitution automatique n → ñ a été annulée : « детей » (« des enfants ») devenait « твои дети » (« tes enfants »)

Quand une langue n'a pas un seul dataset correct, la question n'est pas « quel modèle choisir », mais « sur quoi apprendre ». L'auteur d'une série d'articles sur Habr consacrée au tatar de Crimée explique comment il a constitué un corpus pour la reconnaissance vocale, la synthèse vocale et un modèle de langage. Le chiffre clé : pour 79 % des pages en tatar de Crimée issues de vieux livres, le texte se trouvait déjà sous l'image de la page.

La reconnaissance de scans (OCR), coûteuse, n'a donc été nécessaire que pour le cinquième restant. Le second chiffre est plus désagréable : dans la nouvelle version du modèle de langage, la part de formes turques dans les réponses est passée de 0,27 % à 2,02 %, parce que des textes écrits à la manière turque se sont infiltrés dans les données. Si vous constituez un corpus pour des langues rares ou à partir d'archives internes d'entreprise, cette analyse peut vous faire gagner des mois.

D'abord compter ce que contient l'archive

L'auteur disposait de livres et de périodiques de différentes années, d'enregistrements d'émissions, de livres audio, de dictionnaires et d'enregistrements d'enseignants. Presque rien n'existait sous forme de dataset prêt à l'emploi : un livre reste un PDF, une émission représente des heures d'audio sans texte, et dans un livre audio le son et le texte vivent séparément. Le plan semblait évident : les vieux livres existent surtout sous forme de scans, il faut donc de l'OCR. Or l'OCR se trompe sur cette langue, en particulier sur les lettres absentes du russe, et il est lent et coûteux.

Avant de lancer le traitement, l'auteur a calculé la part des pages par catégorie. Les livres russes représentent 32,2 %, les livres turcs 13,9 %, le cyrillique tatar de Crimée avec couche de texte 28,2 %, l'alphabet latin avec couche de texte 3,9 %. Parmi les seules pages en tatar de Crimée, 79 % portaient déjà un vrai texte, accessible sans reconnaissance. La branche coûteuse s'est révélée être la plus petite moitié du butin.

Mais « le texte existe » ne veut pas dire « le texte est bon » : cette couche a été créée un jour par un programme tiers. Trois défauts sont apparus. Le premier : un signe mou à la place d'un signe dur (« къаплангьан » au lieu de « къаплангъан »).

Les combinaisons « кь » et « гь » n'existent pas dans le cyrillique tatar de Crimée, la substitution est donc mécanique. Avant de l'appliquer, l'auteur l'a passée sur un texte sain, où aucun caractère ne devait changer : zéro modification. Ce n'est qu'ensuite qu'il a corrigé des dizaines de milliers de pages.

Le deuxième : un encodage erroné, où le « ı » turc devenait « ý » et le « ş » devenait « þ ». Cela aussi est réversible. Le troisième : les doublons.

Par nom de fichier, les copies n'ont presque jamais été détectées ; par contenu (comparaison de fragments de huit mots), 7,0 % de répétitions sont apparues. Sans ce nettoyage, le modèle aurait vu certains textes deux fois et, lors de l'évaluation, aurait « reconnu » ce qu'il devrait voir pour la première fois.

La décision se prenait par page, non par livre : dans un même volume, du cyrillique propre peut côtoyer du latin abîmé. La qualité était évaluée par la part de mots commençant par une racine du dictionnaire. La correspondance exacte ne convenait pas : la langue est agglutinante, des chaînes de désinences se greffent sur la racine, et cette mesure ne distinguait pas un bon livre (3 % de correspondances) d'un livre cassé (2 %).

Contrôle : six livres russes tirés au hasard ont été rejetés sur 100 % des pages, six livres turcs sur 74 %, mais deux livres sur six sont passés. Résultat : le volume de texte exploitable est environ dix fois supérieur à celui de l'ancien noyau du corpus.

Le turc qui se fait passer pour du tatar de Crimée

Un jour, le modèle a répondu « Ayt, men dinlemeye hazırım », alors que la forme correcte est « Ayt, men diñlemege azırım » : les racines sont les mêmes, la forme est turque. Sur 524 requêtes de test, la part de tokens latins à forme turque atteint 2,02 % pour la nouvelle version contre 0,27 % pour la précédente, soit 7,5 fois plus. Le détecteur est calibré des deux côtés : sur de la prose tatare de Crimée propre, il donne 0,03 % ; sur du vrai turc, 11,75 %.

Avec le même instrument, l'auteur a passé le corpus au crible. Dans le sous-ensemble sur lequel la version précédente avait été entraînée, les formes turques représentaient 0,41 % ; dans le suivant, 0,93 %, soit 2,3 fois plus. La contamination était concentrée à quelques endroits : trois sources fournissent 46 % de tous les tokens signalés, quatorze en fournissent 76 %. Il s'agit de périodiques publiés hors de Crimée, où le texte tatar de Crimée est souvent écrit à la turque. Les larges crawls web, que l'auteur soupçonnait en premier, se sont révélés être les plus propres parmi les grandes sources.

Un détecteur de langue classique est ici aveugle : il répond à « notre langue ou non ? », et les langues apparentées partagent trop de racines. Parmi plus de dix mille fragments superflus qu'il avait trouvés, seuls 40 présentaient des traits turcs.

L'auteur a donc construit ses détecteurs à l'envers : il a cherché des formes qui n'existent pas en tatar de Crimée, par exemple le nom verbal au datif en « -meye » au lieu de « -mege ». Chaque détecteur a été vérifié dans les deux sens, et la décision se prenait sur la ligne entière : la terminaison « -yor » est apparue dans des centaines de lignes, et aucune n'était turque. Un autre détecteur a repéré plusieurs dizaines de fragments en kazakh, en tatar et en ouzbek.

Plusieurs milliers de fragments ont été placés en quarantaine, avec l'indication de leur origine et de la règle déclenchée ; rien n'a été supprimé.

Pourquoi la substitution automatique a été annulée

La tentation était de normaliser l'orthographe turque : k → q, n → ñ. La règle autorisait la substitution si la forme d'origine était absente du dictionnaire et que la forme obtenue y figurait. L'auteur a appliqué plusieurs centaines de ces substitutions à un sous-ensemble brouillon, a examiné le diff, puis les a annulées.

Le dictionnaire vérifie que le résultat est un mot tatar de Crimée, mais pas que c'est bien le mot voulu. « Balaların » (« des enfants ») devenait « balalarıñ » (« tes enfants »), « atın » devenait « atıñ » (« ton cheval » au lieu de « du cheval »). Un normalisateur qui produit des erreurs plausibles est pire qu'un normalisateur qui ne fait rien.

Les substitutions sont restées dans un fichier à part, à titre de proposition.

Les formes dialectales, comme le « ben » du littoral sud au lieu du « men » littéraire, n'ont pas été retirées du corpus, même si les détecteurs turcs leur cherchent querelle : dans les réponses du modèle, elles sont comptées comme une catégorie distincte.

Conclusion pratique : comptez la composition de l'archive avant tout traitement coûteux, vérifiez les corrections sur des données saines, calculez les métriques de qualité pour chaque source et ne laissez pas l'automatisation « réparer » ce qu'elle ne comprend pas. Les limites de la méthode sont aussi à reconnaître : le turc fuit en partie à travers le dictionnaire de la langue apparentée, et il n'existe pas de protection à 100 %.

Dossier

Questions clés sur cet article

Que sait-on sur D'abord compter ce que contient l'archive ?

L'auteur disposait de livres et de périodiques de différentes années, d'enregistrements d'émissions, de livres audio, de dictionnaires et d'enregistrements d'enseignants. Presque rien n'existait sous forme de dataset prêt à l'emploi : un livre reste un PDF, une émission représente des heures d'audio sans texte, et dans un livre audio le son et le texte vivent séparément. Le plan semblait évident : les vieux livres existent surtout sous forme de scans, il faut donc de l'OCR.

Que sait-on sur Le turc qui se fait passer pour du tatar de Crimée ?

Un jour, le modèle a répondu « Ayt, men dinlemeye hazırım », alors que la forme correcte est « Ayt, men diñlemege azırım » : les racines sont les mêmes, la forme est turque. Sur 524 requêtes de test, la part de tokens latins à forme turque atteint 2,02 % pour la nouvelle version contre 0,27 % pour la précédente, soit 7,5 fois plus. Le détecteur est calibré des deux côtés : sur de la prose tatare de Crimée propre, il donne 0,03 % ; sur du vrai turc, 11,75 %.

Pourquoi la substitution automatique a été annulée?

La tentation était de normaliser l'orthographe turque : k → q, n → ñ. La règle autorisait la substitution si la forme d'origine était absente du dictionnaire et que la forme obtenue y figurait. L'auteur a appliqué plusieurs centaines de ces substitutions à un sous-ensemble brouillon, a examiné le diff, puis les a annulées. Le dictionnaire vérifie que le résultat est un mot tatar de Crimée, mais pas que c'est bien le mot voulu.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…