semCER pondère les erreurs d'OCR selon leur gravité : 61 millions d'évaluations d'un LLM-juge

Le Character Error Rate mesure la distance entre le texte reconnu et la référence, puis la divise par la longueur de la référence. Pour le CER, une lettre fausse dans le mot « Иванов » et une erreur sur le mot « и » au milieu d'un paragraphe coûtent la même chose. Les auteurs de l'article proposent la métrique semCER : elle conserve l'alignement et le dénominateur du CER, mais confie l'évaluation de chaque correction, au niveau du graphème, à un LLM-juge. L'échantillon est considérable : 61 millions de corrections évaluées sur 16 langues, le tout publié en accès libre.

Comment fonctionne la métrique

Le choix d'ingénierie central : semCER ne bouleverse pas l'arithmétique habituelle. L'alignement reste le même, le dénominateur aussi. Seul le coût de chaque correction change : au lieu de 1, le juge lui attribue un poids selon sa gravité. Aucune segmentation en mots n'est nécessaire, ce qui compte pour le chinois, où les frontières de mots ne sont pas marquées par des espaces, et pour les langues à morphologie riche.

Cette approche reste comparable aux résultats antérieurs. Si vous suivez depuis des années le CER de votre pipeline OCR, la transition n'oblige pas à tout recalculer : la structure du score est la même, seuls les poids changent.

Ce que montrent les validations auprès de lecteurs

Les auteurs ont comparé les notes de la métrique à celles de lecteurs humains en anglais, en vietnamien et en chinois. Les poids de semCER concordent avec les évaluations humaines correction par correction, et les erreurs jugées les plus graves par les lecteurs se retrouvent en haut de la liste triée. Sur les paires où CER et semCER divergeaient, les lecteurs ont plus souvent donné raison à semCER qu'au CER normalisé, en anglais et en chinois. En vietnamien, le score est à égalité.

L'article formule aussi une réserve honnête. Pour le score global d'une transcription entière, le CER normalisé est corrélé aux lecteurs aussi bien que semCER, et parfois mieux. L'intérêt de semCER est ailleurs : il décompose ce score en corrections distinctes et nommées. La métrique devient un outil de diagnostic, et non un simple nouveau chiffre.

Résultats clés de l'article :

• 61 millions de corrections évaluées par un LLM-juge, 16 langues ;
• validation humaine : anglais, vietnamien, chinois ;
• sur les paires litigieuses, les lecteurs choisissent semCER plus souvent que le CER normalisé en anglais et en chinois, et à égalité en vietnamien ;
• en espagnol, le juge évalue un diacritique ou un signe de ton erroné à presque zéro ; en télougou, presque comme une lettre erronée ;
• un scoreur distillé est publié avec les données : il n'est donc pas nécessaire d'appeler un grand LLM pour chaque évaluation.

L'écart entre les langues reflète la réalité : en espagnol, la perte d'un accent change rarement le sens, alors qu'en télougou le signe fait partie de la lettre et détermine le mot que le lecteur lira. Le CER à plat ne voit pas cette différence.

Les erreurs qui ressemblent à des mots

Un résultat distinct porte sur le type d'erreurs. Là où l'on peut compter les mots réels, une lettre erronée dans la sortie d'une VLM généraliste forme un mot existant nettement plus souvent que le niveau aléatoire. Pour un pipeline OCR classique, cette part reste proche du hasard. En pratique, la conclusion est désagréable : le modèle de langage corrige le texte vers le plausible, et l'erreur devient une phrase qui se lit sans accroc mais dit autre chose. Une telle erreur est plus difficile à repérer à la relecture que du charabia.

Comment l'utiliser pour évaluer un OCR

Pour les équipes qui comparent des VLM et des moteurs classiques sur des documents, le schéma est simple. Le score global peut toujours être calculé avec le CER normalisé. semCER est à lancer par-dessus, pour l'analyse : trier les corrections par gravité et regarder quelles erreurs le modèle commet sur les noms, les nombres et les diacritiques.

C'est particulièrement utile pour les pipelines multilingues, où un même CER en espagnol et en télougou traduit des dégâts différents. Le scoreur distillé du dépôt nguyenx2t/semcer permet de le faire sans solliciter un LLM-juge pour chaque document. La limite est évidente : les poids sont fixés par un LLM ; dans les domaines critiques, comme la médecine ou le droit, il faut donc les confronter par échantillonnage aux évaluations de ses propres spécialistes.