Apple a testé les LLM comme juges de traduction : avec MQM et ESA, la tâche est difficile pour les humains comme pour les modèles

Apple ML Research a publié une étude qui cherche à savoir si des modèles de langage peuvent remplacer les évaluateurs humains de traduction automatique. Les auteurs ont éprouvé des LLM sur deux schémas d'évaluation de la qualité très répandus, MQM et ESA, et ont comparé leur accord avec celui des humains. Le titre du travail énonce déjà la conclusion : les deux camps rencontrent des difficultés, les humains comme les modèles. Précision importante : le fragment de résumé accessible s'interrompt sur la comparaison avec l'annotation humaine et ne contient aucun résultat chiffré. Ce qui suit porte donc sur la formulation du problème et ses implications, pas sur des chiffres.

Deux schémas, deux niveaux de détail

MQM (Multidimensional Quality Metrics) passe pour la méthode d'évaluation de traduction la plus rigoureuse. Un expert repère les erreurs dans le texte, marque les fragments concernés, rattache chacune à une catégorie (exactitude, fluidité, terminologie, etc.) et lui attribue un niveau de gravité. La méthode est précise, mais coûteuse : elle exige des linguistes qualifiés et beaucoup de temps.

ESA (Error Span Annotation) est plus simple. L'annotateur marque lui aussi les fragments problématiques, mais sans taxonomie détaillée, et attribue une note globale. C'est moins cher et plus rapide, ce qui explique que le schéma soit de plus en plus utilisé dans les campagnes d'évaluation à grande échelle.

Les deux schémas opèrent au niveau des fragments de texte, et pas seulement d'un score final. Le modèle ne doit pas simplement dire si la traduction est bonne ou mauvaise : il doit indiquer où se trouve l'erreur et pourquoi. Pour un LLM, la tâche est nettement plus difficile.

Ce qui a été testé

Les auteurs partent du principe qu'on ne peut pas considérer un LLM comme un substitut fiable aux humains tant qu'il n'a pas été vérifié sur tous les axes qui font varier l'évaluation d'une traduction :

• les schémas d'évaluation : MQM et ESA ;
• les paires de langues : des plus courantes à celles moins bien dotées en données ;
• les domaines de texte ;
• la granularité de l'annotation : du score global aux fragments individuels ;
• le critère de qualité : l'accord du modèle avec les annotateurs humains.

L'approche est raisonnable. Souvent, on teste un LLM-juge sur un seul jeu de données, on constate une bonne corrélation et on déclare la méthode valable. Ici, la corrélation est mesurée sur différentes tranches, et le score global ne dispense pas de vérifier la justesse de l'annotation de chaque erreur.

Pourquoi « c'est difficile pour les humains aussi »

La seconde moitié du titre est sans doute plus intéressante que la première. L'annotation humaine sert de référence, mais les annotateurs sont loin de toujours s'accorder entre eux, surtout au niveau des fragments précis et de la gravité des erreurs. Un expert signalera une tournure comme une imprécision de style, un autre la laissera passer ou la jugera grave.

Conséquence pour tout le domaine : l'« accord avec l'humain » a un plafond, fixé par l'accord des humains entre eux. Quand un modèle n'atteint pas la référence, on ne sait pas toujours si la faute lui incombe ou si la référence est bruitée. Les conclusions sur la qualité des LLM-juges doivent donc être lues en tenant compte de la fiabilité de l'annotation qui sert de mesure.

Comment s'en servir

Pour une équipe qui construit un pipeline d'évaluation de traduction ou de localisation, ce travail suggère plusieurs règles pratiques.

• Ne transposez pas le résultat d'une paire de langues à une autre. Testez le LLM-juge séparément pour chaque paire et chaque domaine qui vous concerne.
• Choisissez le schéma en fonction de la tâche. Pour un suivi régulier de la qualité, une annotation de type ESA peut suffire ; pour les cas litigieux ou critiques, il faut MQM et un expert humain.
• Mesurez l'accord des annotateurs humains entre eux. Sans cela, impossible de savoir où se situe la limite pour le modèle.
• Gardez des humains dans la boucle, sur un échantillon. L'évaluation par LLM réduit le coût, mais n'élimine pas la nécessité d'un calibrage périodique par des experts.

Il faut consulter le texte complet de l'article dans la source originale : les coefficients d'accord finaux et la ventilation par langue détermineront avec quelle assurance on peut utiliser un LLM là où l'on paie aujourd'hui des linguistes experts.