semCER pondera los errores de OCR según su gravedad: 61 millones de evaluaciones de un LLM-juez

Character Error Rate calcula la distancia entre el texto reconocido y el de referencia, y la divide entre la longitud de la referencia. Para el CER, un error en una letra de la palabra «Ivanov» y un error en la conjunción «y» en mitad de un párrafo cuestan lo mismo. El equipo de autores del artículo propone la métrica semCER: conserva el alineamiento y el denominador del CER, pero un LLM-juez evalúa cada edición a nivel de grafema. El tamaño de la muestra es considerable: 61 millones de ediciones evaluadas en 16 idiomas, y todo ello está publicado en abierto.

Cómo funciona la métrica

La decisión de ingeniería clave es que semCER no rompe la aritmética habitual. El alineamiento sigue siendo el mismo, y el denominador también. Solo cambia el coste de cada edición: en lugar de uno, el juez le asigna un peso según su gravedad. No hace falta segmentar en palabras, algo importante para el chino, donde los límites de palabra no se marcan con espacios, y para los idiomas de morfología rica.

Este enfoque mantiene la comparabilidad con los resultados anteriores. Si lleva años siguiendo el CER de su pipeline de OCR, el cambio no obliga a recalcular todo desde cero: la estructura del cómputo es la misma y solo varían los pesos.

Qué mostraron las pruebas con lectores

Los autores compararon las puntuaciones de la métrica con las de lectores reales en inglés, vietnamita y chino. Los pesos de semCER coinciden con las valoraciones humanas edición por edición, y los errores que los lectores consideran más graves quedan en la parte superior de la lista ordenada. En los pares en los que CER y semCER discrepaban, los lectores coincidieron más con semCER que con el CER normalizado en inglés y chino. En vietnamita el resultado es de empate.

Hay también una salvedad honesta. Para la puntuación final de una transcripción completa, el CER normalizado se correlaciona con los lectores igual de bien que semCER, y a veces mejor. El valor de semCER está en otra parte: descompone esa puntuación en ediciones individuales con nombre propio. La métrica se convierte en una herramienta de diagnóstico, y no solo en un número nuevo.

Resultados clave del artículo:

• 61 millones de ediciones evaluadas por un LLM-juez, 16 idiomas;
• validación con personas: inglés, vietnamita, chino;
• en los pares discutidos, los lectores eligen semCER con más frecuencia que el CER normalizado en inglés y chino, y en vietnamita hay empate;
• en español, el juez puntúa casi en cero un diacrítico o un signo de tono equivocado; en telugu, casi como una letra equivocada;
• junto con los datos se ha publicado un scorer destilado, es decir, no es obligatorio invocar un LLM grande para cada evaluación.

La dispersión entre idiomas refleja la realidad: en español, perder un acento rara vez cambia el significado, mientras que en telugu el signo forma parte de la letra y determina qué palabra lee la persona. El CER plano no ve esa diferencia.

Errores que parecen palabras

Un resultado aparte se refiere al tipo de errores. Donde se pueden contar palabras reales, una letra equivocada en la salida de una VLM universal forma una palabra existente con una frecuencia notablemente superior al nivel aleatorio. En un pipeline de OCR clásico, esa proporción se queda cerca del nivel aleatorio. Para la práctica, la conclusión es incómoda: el modelo de lenguaje corrige el texto hacia lo verosímil, y el error se convierte en una frase que se lee con fluidez pero dice otra cosa. Un error así es más difícil de detectar en la revisión que un galimatías de caracteres.

Cómo usarla en la evaluación de OCR

Para los equipos que comparan VLM y motores clásicos sobre documentos, el esquema es sencillo. La puntuación final se puede seguir calculando con el CER normalizado. Conviene ejecutar semCER por encima para el análisis: ordenar las ediciones por gravedad y ver qué errores comete el modelo en nombres, números y diacríticos. Es especialmente útil en pipelines multilingües, donde un mismo CER en español y en telugu implica un daño distinto. El scorer destilado del repositorio nguyenx2t/semcer permite hacerlo sin recurrir al LLM-juez en cada documento. La limitación es evidente: los pesos los fija un LLM, así que en dominios críticos, como la medicina o el derecho, conviene contrastarlos de forma selectiva con las valoraciones de los propios especialistas.