Des LLM évaluent la traduction sur 70 paires de langues : ils ne dépassent les humains que par endroits

Les modèles de langage jouent de plus en plus le rôle de juges pour la traduction automatique : ils coûtent moins cher et travaillent plus vite que des annotateurs humains. Mais peut-on leur faire confiance ? Les chercheurs ont comparé des LLM à des humains selon deux schémas d'évaluation, sur un jeu de données propre composé de 70 paires de langues avec contexte long, ainsi que sur les données publiques WMT23 et WMT25. Le bilan est mitigé. Sur certaines tâches, les modèles s'accordent mieux avec les annotateurs que les annotateurs entre eux. Mais dans la plupart des configurations, le résultat reste peu fiable, aussi bien pour les modèles que pour les humains.

Ce que l'étude a mesuré

Le travail s'appuie sur deux schémas répandus. MQM (Multidimensional Quality Metrics) exige d'un expert qu'il repère les erreurs, les range par catégorie et en évalue la gravité. C'est un balisage détaillé et coûteux. ESA (Error Span Annotation) est plus simple : l'annotateur surligne les fragments problématiques du texte et attribue une note globale.

Les auteurs ont comparé deux niveaux d'accord : sur les scores finaux et sur les frontières des fragments contenant des erreurs. La référence est l'accord entre humains. On peut ainsi vérifier non seulement dans quelle mesure le modèle ressemble à un humain, mais aussi dans quelle mesure l'annotation humaine est elle-même reproductible.

Où les humains trébuchent, où les modèles échouent

La principale conclusion concerne la dispersion. L'accord varie selon le schéma d'annotation, la paire de langues et le domaine. Une corrélation moyenne unique avec les humains dit donc peu de choses sur l'utilité d'un modèle pour une tâche précise. Les points faibles diffèrent d'un camp à l'autre :

• les humains sont les moins à l'aise avec le balisage détaillé MQM et avec les paires de langues à faibles ressources ;
• les LLM distinguent mal les erreurs peu importantes ;
• les modèles confondent les variantes linguistiques : ils ne remarquent pas qu'une traduction n'est pas rédigée dans la bonne norme régionale ;
• le balisage des frontières des fragments erronés (error span) est plus difficile pour les modèles que l'évaluation du score global ;
• sur une partie des tâches, l'accord des LLM avec les humains dépasse l'accord entre humains, mais cela n'efface pas l'instabilité générale.

Le dernier point compte pour l'interprétation. Si les annotateurs divergent entre eux, la barre pour le modèle est basse. Dans ce cas, « le modèle est d'accord avec l'humain au moins autant que l'humain avec l'humain » traduit plutôt du bruit dans la référence que la qualité du modèle.

Ce qui manque et ce que proposent les auteurs

L'abstract ne donne ni coefficients d'accord précis ni la liste des modèles testés. Pour comparer ces chiffres à ceux d'autres benchmarks, il faut donc se reporter au texte complet de l'article. La conclusion, elle, est formulée clairement : les deux côtés ont une marge d'amélioration, et la solution pourrait passer par un pipeline d'annotation conjoint, où l'humain et le LLM compensent mutuellement leurs faiblesses.

L'intérêt pratique de cette approche est évident. On peut utiliser le modèle pour un premier passage sur un gros volume de textes et une évaluation grossière. Il vaut mieux faire intervenir un humain là où le modèle se trompe de façon systématique : sur les erreurs mineures, les variantes régionales de la langue et le balisage précis des fragments. Les paires de langues rares demandent une attention particulière, car l'annotation humaine y pâtit aussi.

Comment exploiter ces résultats en pratique

Pour une équipe qui construit une évaluation de la qualité de traduction sur un LLM-juge, l'étude suggère plusieurs étapes :

• vérifier l'accord avec les humains séparément pour chaque paire de langues et chaque domaine, et non sur la moyenne globale ;
• ne pas se fier au modèle pour le balisage des fragments erronés sans vérification humaine par échantillonnage ;
• tester séparément la capacité du juge à repérer une variante linguistique incorrecte et les défauts mineurs ;
• mesurer l'accord entre les annotateurs eux-mêmes, faute de quoi il est impossible de comprendre ce que la métrique indique réellement ;
• pour les langues rares, prévoir un schéma hybride avec participation obligatoire d'un humain.

Pour ceux qui choisissent un juge afin de classer automatiquement des systèmes de traduction, la conclusion est pragmatique : un LLM sert à accélérer le travail, mais ne remplace pas l'expert sans condition. Tant que la fiabilité dépend de la tâche, il n'y aura pas de « note par défaut » universelle.