Apple evaluó a los LLM como jueces de traducción: con MQM y ESA, la tarea cuesta tanto a humanos como a modelos

Apple ML Research ha publicado un estudio sobre si los modelos de lenguaje pueden sustituir a los evaluadores humanos de traducción automática. Los autores probaron los LLM con dos esquemas de evaluación de calidad muy utilizados, MQM y ESA, y midieron su grado de acuerdo con las personas. El título del trabajo ya contiene la conclusión: ambas partes, humanos y modelos, tienen dificultades. Salvedad: el fragmento disponible del resumen se interrumpe en la comparación con el etiquetado humano y no incluye resultados numéricos, así que lo que sigue trata del planteamiento del problema y sus implicaciones, no de cifras.

Dos esquemas, dos niveles de detalle

MQM (Multidimensional Quality Metrics) se considera el método más riguroso para evaluar una traducción. Un experto localiza los errores en el texto, marca fragmentos concretos, asigna cada uno a una categoría (precisión, fluidez, terminología, etc.) y le atribuye una gravedad. Es un método preciso, pero caro: requiere lingüistas cualificados y mucho tiempo.

ESA (Error Span Annotation) es más sencilla. El anotador también marca los fragmentos problemáticos, pero sin una taxonomía detallada, y añade una puntuación global. Resulta más barata y rápida, por lo que cada vez se usa más en campañas de evaluación a gran escala.

Ambos esquemas operan a nivel de fragmentos de texto, no solo de puntuación final. El modelo no se limita a decir si «la traducción es buena o mala»: debe indicar dónde está el error y por qué. Para un LLM, esta tarea es bastante más difícil.

Qué se evaluó exactamente

Los autores parten de que no se puede considerar a los LLM un sustituto fiable de las personas mientras no se los haya probado en todos los ejes en que varía la evaluación de una traducción:

• esquemas de evaluación: MQM y ESA;
• pares de idiomas: desde los más comunes hasta los peor dotados de datos;
• dominios de texto;
• granularidad del etiquetado: desde la puntuación global hasta fragmentos individuales;
• criterio de calidad: el grado de acuerdo del modelo con los anotadores humanos.

El enfoque es razonable. A menudo se prueba al LLM-juez en un único conjunto de datos, se observa una buena correlación y se da el método por válido. Aquí la correlación se mide en distintos cortes, y la puntuación global no sustituye la comprobación de la precisión al marcar cada error.

Por qué «es difícil también para las personas»

La segunda mitad del título quizá sea más interesante que la primera. El etiquetado humano se toma como referencia, pero los propios anotadores distan mucho de coincidir entre sí, sobre todo en los fragmentos concretos y en la gravedad de los errores. Un experto marcará una expresión como imprecisión de estilo; otro la pasará por alto o la considerará un error grave.

La consecuencia para todo el campo es que el «acuerdo con el humano» tiene un techo fijado por el acuerdo de las personas entre sí. Si un modelo no alcanza la referencia, no siempre está claro si el fallo es suyo o de una referencia ruidosa. Las conclusiones sobre la calidad de los LLM-jueces hay que leerlas con una corrección por la fiabilidad del etiquetado con el que se les mide.

Cómo aplicarlo

Para un equipo que construye un pipeline de evaluación de traducción o localización, el estudio deja varias reglas prácticas.

• No traslades el resultado de un par de idiomas a otro. Comprueba el LLM-juez por separado para cada par y dominio que necesites.
• Elige el esquema según la tarea. Para un seguimiento regular de la calidad puede bastar un etiquetado de tipo ESA; para casos discutibles o críticos hacen falta MQM y un experto humano.
• Mide el acuerdo entre los propios anotadores humanos. Sin ese dato es imposible saber dónde está el límite para el modelo.
• Mantén a las personas en el circuito, al menos sobre una muestra. La evaluación con LLM reduce el coste, pero no elimina la necesidad de calibrarla periódicamente con expertos.

Hay que consultar el texto completo del artículo en la fuente original: los coeficientes finales de acuerdo y el desglose por idiomas determinarán con cuánta confianza pueden usarse los LLM allí donde hoy se paga a lingüistas expertos.