EMNLP 2025: por qué las redes neuronales ahora se evalúan a sí mismas (y por qué es difícil)

Imagina que has escrito una redacción compleja, pero en lugar de una profesora estricta con bolígrafo rojo, la corrige un compañero de clase algo más leído que tú. Más o menos así es hoy la industria de la traducción automática. La conferencia EMNLP 2025, celebrada en Miami, volvió a confirmar la tendencia principal de los últimos años: hemos confiado definitivamente a las redes neuronales la revisión de otras redes neuronales. Si antes para evaluar la calidad de una traducción hacían falta multitudes de lingüistas y expertos, ahora ese proceso recae en los grandes modelos de lenguaje. No es solo una cuestión de ahorrar dinero, sino de supervivencia en un mundo donde hay demasiados datos para la percepción humana.

El equipo de Yandex no fue a la conferencia solo como oyente. Llevó dos trabajos sólidos que muestran cómo cambia el enfoque para evaluar textos. Katya Enikeeva, responsable de analítica de traducción, subraya un matiz importante: enseñar a un modelo a traducir es solo la mitad del trabajo. Mucho más difícil es enseñarle a entender dónde se ha equivocado exactamente. Eso exige a un LLM un nivel de reflexión completamente distinto. El modelo debe actuar como un crítico que ve no solo la gramática, sino también las distorsiones de sentido, la pérdida de estilo o un tono inadecuado. Soluciones como estas determinan con qué fluidez funcionará la traducción de vídeo en tu navegador o la búsqueda en sitios extranjeros.

¿Por qué importa precisamente ahora? Hemos topado con el techo de las métricas clásicas. Los viejos algoritmos como BLEU, que simplemente comparaban el número de palabras idénticas entre el original y la traducción, ya no sirven.

No entienden la ironía, no ven el contexto y dan con facilidad una nota alta a un texto que distorsiona por completo el sentido. Los sustituyen pipelines complejos en los que un modelo analiza el original, otro el resultado y un tercero emite el veredicto. Esto crea una especie de ecosistema intelectual en el que la calidad crece gracias a una auditoría interna constante.

En EMNLP 2025 quedó patente que quienes no aprendan a construir estos sistemas de evaluación se quedarán irremediablemente atrás en la carrera por la calidad de generación.

Yandex presentó sus avances en dos secciones clave: Findings de la conferencia principal y el taller WMT. Es un reconocimiento de la comunidad mundial a que los ingenieros rusos marcan el listón en uno de los campos más difíciles: la evaluación automática de la calidad. Conviene entender que tras los títulos académicos de los artículos hay cosas muy prácticas. Cuando abres una página en chino y un segundo después lees un texto coherente en ruso, detrás hay no solo un potente modelo traductor, sino un sistema de control aún más potente que descarta en tiempo real alucinaciones y errores. Sin ese control, aún estaríamos leyendo las traducciones pedantes y torpes de principios de los 2000.

La industria avanza hacia la automatización total del ciclo de entrenamiento. En un mundo ideal (que ya casi ha llegado), un modelo genera datos, otro los evalúa y, con base en esa evaluación, el primero sigue entrenándose. Al humano solo le queda el papel de juez supremo que fija las reglas generales del juego.

Pero aquí también está la gran trampa: si el modelo evaluador empieza a equivocarse o a premiar la «mentira bonita», todo el sistema se va al traste. El problema de las alucinaciones en la evaluación es el siguiente gran desafío, del que se habló mucho en los pasillos de la conferencia. Enseñamos a las redes neuronales a ser críticos honestos, pero todavía intentan ser simplemente interlocutores agradables.

Lo esencial: la era del etiquetado manual de datos se ha convertido oficialmente en un pasatiempo elitista y muy caro. El futuro es de las métricas automáticas basadas en LLM, y los trabajos de Yandex en EMNLP 2025 muestran que estamos en la vanguardia de este proceso. ¿Podrán las redes neuronales críticas superar a las personas en la comprensión del contexto ya este año?