EMNLP 2025: por que as redes neurais agora avaliam umas às outras (e por que isso é difícil)

Imagine que você escreveu uma redação complexa, mas quem vai corrigi-la não é uma professora severa com caneta vermelha, e sim um colega de classe um pouco mais lido que você. É mais ou menos assim que está a indústria de tradução automática hoje. A conferência EMNLP 2025, em Miami, confirmou mais uma vez a principal tendência dos últimos anos: passamos definitivamente a tarefa de checar redes neurais para outras redes neurais.

Se antes a avaliação da qualidade de tradução exigia multidões de linguistas e especialistas, agora esse processo recai sobre os grandes modelos de linguagem. Não é só uma questão de economizar dinheiro, é uma questão de sobrevivência em um mundo em que há dados demais para a percepção humana.

O time do Yandex não foi à conferência apenas como ouvinte. Levou dois trabalhos sólidos que mostram como está mudando a abordagem de avaliação de textos. Katya Enikeeva, responsável pela análise de tradução, destaca um ponto importante: ensinar um modelo a traduzir é só metade do trabalho. Muito mais difícil é ensiná-lo a entender onde exatamente errou. Isso exige de um LLM um nível de reflexão totalmente diferente. O modelo precisa agir como um crítico que enxerga não só a gramática, mas também distorções de sentido, perda de estilo ou tom inadequado. São soluções assim que definem o quão fluida será a tradução de vídeos no seu navegador ou a busca em sites estrangeiros.

Por que isso importa agora? Batemos no teto das métricas clássicas. Os bons e velhos algoritmos como o BLEU, que apenas comparavam o número de palavras idênticas entre o original e a tradução, já não funcionam.

Eles não entendem ironia, não enxergam contexto e dão nota alta com facilidade a um texto que distorce completamente o sentido. No lugar deles entram pipelines complexos, em que um modelo analisa o texto de origem, o segundo analisa o resultado e o terceiro dá o veredito. Isso cria uma espécie de ecossistema intelectual em que a qualidade cresce graças a uma auditoria interna constante.

Na EMNLP 2025 ficou evidente que quem não aprender a construir esses sistemas de avaliação ficará irremediavelmente para trás na corrida pela qualidade da geração.

O Yandex apresentou seus avanços em duas seções-chave: o Findings da conferência principal e o workshop WMT. É o reconhecimento da comunidade mundial de que os engenheiros russos estabelecem o padrão em uma das áreas mais difíceis: a avaliação automática de qualidade. É importante entender que por trás dos títulos acadêmicos dos artigos há coisas bem práticas. Quando você abre uma página em chinês e um segundo depois lê um texto coerente em russo, por trás há não só um poderoso modelo tradutor, mas um sistema de controle ainda mais poderoso, que elimina alucinações e erros em tempo real. Sem esse controle, ainda estaríamos lendo as traduções pedantes e desajeitadas do início dos anos 2000.

A indústria caminha para a automação completa do ciclo de treinamento. Em um mundo ideal (que já quase chegou), um modelo gera dados, outro os avalia e, com base nessa avaliação, o primeiro é treinado novamente. O humano fica apenas como juiz supremo, que define as regras gerais do jogo. Mas aqui também está a grande armadilha: se o modelo avaliador começar a errar ou a premiar a "mentira bonita", todo o sistema vai por água abaixo. O problema das alucinações na avaliação é o próximo grande desafio, muito discutido nos corredores da conferência. Ensinamos as redes neurais a serem críticas honestas, mas elas ainda tentam ser apenas interlocutoras agradáveis.

O principal: a era da anotação manual de dados virou oficialmente um hobby elitista e caríssimo. O futuro é das métricas automáticas baseadas em LLMs, e os trabalhos do Yandex na EMNLP 2025 mostram que estamos na vanguarda desse processo. As redes neurais críticas conseguirão superar os humanos na compreensão de contexto já este ano?