Evalúan a los LLM como jueces de traducción en 70 pares de idiomas: solo en algunos casos superan a los humanos

Los modelos de lenguaje actúan cada vez más como jueces de la traducción automática: son más baratos y rápidos que los anotadores humanos. Pero ¿hasta qué punto se puede confiar en ellos? Los investigadores compararon los LLM con las personas en dos esquemas de evaluación, con un conjunto propio de 70 pares de idiomas con contexto largo y con los datos públicos de WMT23 y WMT25. El resultado es ambivalente. En algunas tareas, los modelos coinciden con los anotadores más de lo que los anotadores coinciden entre sí. Sin embargo, en la mayoría de las configuraciones el resultado sigue sin ser fiable, tanto para los modelos como para los humanos.

Qué se midió exactamente

El trabajo emplea dos esquemas muy extendidos. MQM (Multidimensional Quality Metrics) exige que un experto localice los errores, los asigne a categorías y valore su gravedad. Es un marcado detallado y costoso. ESA (Error Span Annotation) es más sencillo: el anotador señala los fragmentos problemáticos del texto y pone una puntuación global.

Los autores compararon dos niveles de concordancia: en las puntuaciones finales y en los límites de los propios fragmentos con errores. Como referencia usaron la concordancia entre humanos. Así se puede comprobar no solo cuánto se parece un modelo a una persona, sino también hasta qué punto es reproducible el marcado humano.

Dónde tropiezan los humanos y dónde los modelos

La conclusión principal tiene que ver con la dispersión. La concordancia cambia según el esquema de anotación, el par de idiomas y el dominio, de modo que una única correlación media con los humanos dice poco sobre la utilidad de un modelo en una tarea concreta. Los puntos débiles de cada parte son distintos:

• los humanos rinden peor con el marcado detallado de MQM y con los pares de idiomas de pocos recursos;
• los LLM distinguen mal los errores de poca importancia;
• los modelos confunden variantes lingüísticas, es decir, no advierten que una traducción no está escrita en la norma regional correcta;
• el marcado de los límites de los fragmentos con errores (error span) les cuesta más a los modelos que la evaluación de la puntuación global;
• en algunas tareas, la concordancia de los LLM con los humanos supera la concordancia entre humanos, pero eso no elimina la inestabilidad general.

El último punto es importante para interpretar los resultados. Si los anotadores discrepan entre sí, el listón para el modelo queda bajo. En ese caso, «el modelo coincide con una persona tanto como una persona con otra» indica más bien ruido en la referencia que calidad del modelo.

Qué falta y qué proponen los autores

El resumen del artículo no incluye coeficientes de concordancia concretos ni la lista de modelos evaluados, así que para comparar las cifras con otros benchmarks hay que consultar el texto completo. La conclusión, en cambio, está formulada con claridad: ambas partes tienen margen de mejora, y la solución puede ser un flujo de anotación conjunto en el que el humano y el LLM cubran los puntos débiles del otro.

El sentido práctico de este enfoque es evidente. El modelo puede usarse para una primera pasada sobre un gran volumen de textos y para una evaluación aproximada. El humano debe intervenir donde el modelo falla de forma sistemática: en los errores menores, las variantes regionales del idioma y el marcado preciso de fragmentos. Los pares de idiomas poco frecuentes requieren atención aparte, porque en ellos también falla el marcado humano.

Cómo aplicar el resultado en la práctica

Un equipo que construya la evaluación de calidad de traducción sobre un LLM como juez puede extraer del trabajo varias pautas:

• comprobar la concordancia con los humanos por separado para cada par de idiomas y dominio, y no con el promedio general;
• no confiar en el modelo para marcar fragmentos con errores sin una revisión humana por muestreo;
• probar por separado la capacidad del juez para detectar una variante lingüística incorrecta y defectos menores;
• medir la concordancia entre los propios anotadores; de lo contrario, es imposible saber qué muestra realmente la métrica;
• para los idiomas poco frecuentes, prever un esquema híbrido con participación obligatoria de un humano.

Para quienes eligen un juez para clasificar automáticamente sistemas de traducción, la conclusión es pragmática: el LLM sirve como herramienta de aceleración, pero no como sustituto incondicional del experto. Mientras la fiabilidad dependa de la tarea, no habrá una «evaluación por defecto» universal.