EMNLP 2025 : pourquoi les réseaux de neurones s'évaluent désormais entre eux (et pourquoi c'est difficile)

Imaginez que vous ayez rédigé une dissertation complexe, mais que ce ne soit pas une enseignante sévère armée d'un stylo rouge qui la corrige, c'est un camarade de classe un peu plus lettré que vous. C'est à peu près l'état de l'industrie de la traduction automatique aujourd'hui. La conférence EMNLP 2025, à Miami, a une nouvelle fois confirmé la tendance majeure de ces dernières années : nous avons définitivement confié la vérification des réseaux de neurones à d'autres réseaux de neurones.

Là où il fallait autrefois des foules de linguistes et d'experts pour évaluer la qualité d'une traduction, ce processus repose désormais sur les grands modèles de langage. Ce n'est pas seulement une question d'économies, c'est une question de survie dans un monde où les données sont trop nombreuses pour la perception humaine.

L'équipe de Yandex n'est pas venue à la conférence en simple spectatrice. Elle a apporté deux travaux sérieux qui montrent comment l'approche de l'évaluation des textes évolue. Katya Enikeeva, qui dirige l'analytique de la traduction, souligne une nuance importante : apprendre à un modèle à traduire n'est que la moitié du travail.

Lui apprendre à comprendre où exactement il s'est trompé est bien plus difficile. Cela demande à un LLM un niveau de réflexion tout à fait différent. Le modèle doit jouer le rôle d'un critique qui voit non seulement la grammaire, mais aussi les distorsions de sens, la perte de style ou un ton déplacé.

Ce sont ces solutions qui déterminent la fluidité de la traduction vidéo dans votre navigateur ou de la recherche sur des sites étrangers.

Pourquoi est-ce important maintenant ? Nous avons atteint le plafond des métriques classiques. Les bons vieux algorithmes comme BLEU, qui se contentaient de comparer le nombre de mots identiques entre l'original et la traduction, ne fonctionnent plus.

Ils ne comprennent pas l'ironie, ne voient pas le contexte et attribuent facilement une note élevée à un texte qui déforme complètement le sens. Ils cèdent la place à des pipelines complexes où un modèle analyse la source, un deuxième le résultat et un troisième rend son verdict. Cela crée une sorte d'écosystème intellectuel où la qualité progresse grâce à un audit interne permanent.

À l'EMNLP 2025, il est devenu évident que ceux qui n'apprendront pas à bâtir de tels systèmes d'évaluation seront irrémédiablement distancés dans la course à la qualité de génération.

Yandex a présenté ses travaux dans deux sections clés : Findings de la conférence principale et l'atelier WMT. C'est la reconnaissance par la communauté mondiale du fait que les ingénieurs russes fixent la barre dans l'un des domaines les plus difficiles : l'évaluation automatique de la qualité. Il faut comprendre que derrière les titres académiques des articles se cachent des choses très concrètes.

Quand vous ouvrez une page en chinois et lisez une seconde plus tard un texte cohérent en russe, il y a derrière non seulement un puissant modèle de traduction, mais un système de contrôle encore plus puissant, qui écarte en temps réel hallucinations et erreurs. Sans ce contrôle, nous lirions encore les traductions pompeuses et maladroites du début des années 2000.

L'industrie avance vers l'automatisation complète du cycle d'entraînement. Dans un monde idéal (qui est presque déjà là), un modèle génère des données, un autre les évalue, et sur la base de cette évaluation, le premier est réentraîné. L'humain ne reste que dans le rôle de juge suprême, qui fixe les règles générales du jeu.

Mais c'est aussi là que se cache le principal piège : si le modèle évaluateur se met à se tromper ou à récompenser le « beau mensonge », tout le système part à la dérive. Le problème des hallucinations dans l'évaluation est le prochain grand défi, dont on a beaucoup parlé dans les couloirs de la conférence. Nous apprenons aux réseaux de neurones à être des critiques honnêtes, mais ils cherchent encore à n'être que des interlocuteurs agréables.

L'essentiel : l'ère de l'annotation manuelle des données est officiellement devenue un loisir élitiste et très coûteux. L'avenir appartient aux métriques automatiques fondées sur les LLM, et les travaux de Yandex à l'EMNLP 2025 montrent que nous sommes à l'avant-garde de ce mouvement. Les réseaux de neurones critiques pourront-ils surpasser les humains dans la compréhension du contexte dès cette année ?