Tesseract affiné lit le mansi : le taux d'erreur par caractère chute de 18,5 % à 0,85 %
L'Institut de recherche en technologies de l'information de Iougra (Ugra) a affiné Tesseract 5 sur la langue mansi. Le modèle russe de base confondait les lettres à macron et se trompait sur 18,5 % des caractères. Au lieu d'annoter à la main des scans, l'équipe a généré 1,3 million de lignes synthétiques, et le taux d'erreur est tombé à 0,85 %. Le modèle est disponible sur Hugging Face.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez que vous deviez numériser des milliers de pages dans une langue pour laquelle il n'existe ni OCR prêt à l'emploi ni scans annotés. C'est exactement ce qu'ont rencontré les chercheurs de l'Institut de recherche en technologies de l'information de Iougra lorsqu'ils ont constitué un corpus de la langue mansi. Leur solution s'est révélée étonnamment pragmatique et pourtant très efficace : la proportion de caractères erronés est passée de 18,5 % à 0,85 %, soit une réduction d'environ 20 fois.
Où était le problème
L'écriture mansie repose sur le cyrillique, mais comporte des voyelles longues avec macron (а̄, о̄, ӯ, э̄, ы̄) ainsi que la lettre ӈ. Le modèle russe standard de Tesseract ne connaît pas ces symboles. Il perd la barre au-dessus de la lettre ou la transforme en bruit. Or, en mansi, la longueur de la voyelle change le sens du mot : perdre le macron, c'est perdre de l'information.
Sur la ligne « Хӯл тэ̄нутыг ва̄рнэ ма̄гыс », le modèle russe a produit « Хул тэнутыг варнэ магьгсь » : les macrons ont disparu et le « ы » s'est transformé en « ьг ». Le modèle affiné a lu toute la ligne sans la moindre erreur.
Il existe un second problème, moins visible. Une même lettre peut s'écrire de plusieurs façons en Unicode : soit comme un caractère précomposé unique, soit comme un « у » suivi d'un macron combinant. Pour un humain, elles sont identiques ; pour le modèle comme pour la comparaison de chaînes, ce sont des séquences différentes. Il suffit d'ouvrir une console Python : la longueur de deux « ӯ » visuellement identiques sera de 1 et de 2, et la comparaison renverra False.
Comment les données ont été constituées sans scans
Il n'existe pas de scans mansis du volume nécessaire, et les annoter à la main aurait pris des années. L'équipe a donc généré elle-même les données : elle prend un véritable texte mansi, le dessine sur une image avec différentes polices, et la bonne réponse est connue d'avance.
Le pipeline comporte quatre étapes :
- Tous les textes sont normalisés selon la forme Unicode NFC, afin que chaque lettre n'ait qu'une seule représentation.
- Les lignes sont rendues avec plusieurs dizaines de polices, dont FreeSerif, DejaVu Sans, Arial et Times New Roman, en tailles de 12, 14, 24 et 26 pt et en trois styles.
- Chaque caractère est délimité par un cadre. Le calcul automatique à partir des métriques de la police se trompe sur les diacritiques ; les auteurs ont donc introduit trois dictionnaires de corrections : pour les caractères individuels, pour le corps et pour la police concrète. Les valeurs ont été déterminées expérimentalement.
- Les textes longs sont découpés par la fonction split_by_width, afin qu'aucun caractère ne dépasse du bord de l'image.
En sortie, on obtient 1,3 million de paires « image .tif + fichier .gt.txt contenant la bonne réponse ».
Comment Tesseract a été affiné
La troisième partie de la recette est l'apprentissage par transfert. Tesseract 5 repose sur un CRNN : la partie convolutive repère les traits et les barres, le LSTM lit les caractéristiques de gauche à droite, et la fonction de perte CTC dispense d'annoter manuellement les limites des lettres. Le point de départ était rus.traineddata issu de tessdata_best. L'alphabet mansi est presque identique à l'alphabet russe ; le modèle n'a donc à apprendre pour l'essentiel que les nouvelles lettres.
L'outil tesstrain extrait lui-même la partie LSTM avec ses poids, établit la liste complète des caractères à partir des données d'entraînement et étend la couche de sortie à l'alphabet combiné. Le paramètre décisif s'est révélé être le nombre d'itérations : trop peu, et les nouvelles lettres ne sont pas assimilées ; trop, et le modèle surapprend sur les données synthétiques. L'arrêt précoce sur un jeu de validation a aidé.
Résultat en métriques : le CER est passé de 18,5 % à 0,85 %, et le WER de 42,1 % à 1 %. Il ne reste plus à l'humain qu'à relire le résultat, plutôt qu'à ressaisir le texte.
Limites et enseignements pratiques
Le modèle lit avec assurance un texte typographique propre en corps 12–26 pt. Il est moins performant avec une police très petite ou très grande, avec l'alphabet latin et avec d'anciennes éditions à l'impression effacée. Les auteurs prévoient d'ajouter à l'entraînement de vrais scans d'archives. Notons aussi que l'évaluation a été réalisée dans les mêmes conditions synthétiques ; sur de vrais livres, les chiffres seront donc très probablement moins bons.
Pour les praticiens, c'est la recette elle-même qui est utile. Si vous travaillez avec une langue ou un domaine disposant de peu de données annotées :
- Normalisez d'abord l'Unicode : une mesure peu coûteuse et souvent sous-estimée.
- Générez des données synthétiques à partir de textes réels, avec une grande variété de polices.
- Affinez un modèle existant plutôt que d'entraîner à partir de zéro.
Les auteurs estiment que la même approche conviendrait au khanty, au nénets et à d'autres langues cyrilliques à diacritiques. Le modèle mns.traineddata est disponible sur Hugging Face (URIIT/mns-tesseract) : il suffit de placer le fichier dans le dossier tessdata et d'indiquer la langue mns. On peut aussi l'essayer dans le navigateur sur l'Ethnoportail.
- 2 mai 2026L'IA au service du traitement des réclamations : le cas Epotos
- 9 nov. 2026Tesseract permet aux agents IA d'éditer des scènes 3D en conservant objets et calques
- 23 juil. 2026Google Quantum AI : l'apprentissage par renforcement stabilise la puce quantique Willow, avec un gain d'un facteur 3
- 9 nov. 2026Mirage donne à Claude des outils pour créer et modifier des scènes 3D dans un même projet
Questions clés sur cet article
Que sait-on sur Où était le problème ?
L'écriture mansie repose sur le cyrillique, mais comporte des voyelles longues avec macron (а̄, о̄, ӯ, э̄, ы̄) ainsi que la lettre ӈ. Le modèle russe standard de Tesseract ne connaît pas ces symboles. Il perd la barre au-dessus de la lettre ou la transforme en bruit. Or, en mansi, la longueur de la voyelle change le sens du mot : perdre le macron, c'est perdre de l'information.
Comment les données ont été constituées sans scans?
Il n'existe pas de scans mansis du volume nécessaire, et les annoter à la main aurait pris des années. L'équipe a donc généré elle-même les données : elle prend un véritable texte mansi, le dessine sur une image avec différentes polices, et la bonne réponse est connue d'avance. Le pipeline comporte quatre étapes : Tous les textes sont normalisés selon la forme Unicode NFC, afin que chaque lettre n'ait qu'une seule représentation.
Comment Tesseract a été affiné?
La troisième partie de la recette est l'apprentissage par transfert. Tesseract 5 repose sur un CRNN : la partie convolutive repère les traits et les barres, le LSTM lit les caractéristiques de gauche à droite, et la fonction de perte CTC dispense d'annoter manuellement les limites des lettres. Le point de départ était rus.traineddata issu de tessdata_best. L'alphabet mansi est presque identique à l'alphabet russe ; le modèle n'a donc à apprendre pour l'essentiel que les nouvelles lettres.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.