LLMs avaliam tradução em 70 pares de idiomas: só superam os humanos em alguns pontos

Modelos de linguagem aparecem cada vez mais como juízes de tradução automática: são mais baratos e rápidos que anotadores humanos. Mas até que ponto dá para confiar neles? Os pesquisadores compararam LLMs com humanos em dois esquemas de avaliação, usando um conjunto próprio de 70 pares de idiomas com contexto longo e os dados públicos do WMT23 e do WMT25. O resultado é ambíguo. Em algumas tarefas, os modelos concordam mais com os anotadores do que os anotadores entre si. Já na maioria das configurações, o resultado continua pouco confiável, tanto para os modelos quanto para os humanos.

O que exatamente foi medido

O trabalho usa dois esquemas amplamente adotados. O MQM (Multidimensional Quality Metrics) exige que um especialista encontre os erros, os classifique em categorias e avalie a gravidade de cada um. É uma anotação detalhada e cara. O ESA (Error Span Annotation) é mais simples: o anotador destaca os trechos problemáticos do texto e dá uma nota geral.

Os autores compararam dois níveis de concordância: nas notas finais e nos limites dos próprios trechos com erros. O parâmetro de referência foi a concordância entre humanos. Assim, é possível verificar não só o quanto o modelo se parece com uma pessoa, mas também o quanto a anotação humana é reprodutível.

Onde os humanos tropeçam e onde os modelos tropeçam

A principal conclusão diz respeito à dispersão. A concordância muda conforme o esquema de anotação, o par de idiomas e o domínio. Por isso, uma única correlação média com humanos diz pouco sobre a aplicabilidade do modelo em uma tarefa concreta. Os pontos fracos de cada lado são diferentes:

• os humanos têm mais dificuldade com a anotação detalhada do MQM e com pares de idiomas de poucos recursos;
• as LLMs distinguem mal os erros de pouca gravidade;
• os modelos confundem variantes linguísticas, ou seja, não percebem que a tradução foi escrita em outra norma regional;
• a marcação dos limites dos trechos com erros (error span) é mais difícil para os modelos do que a atribuição da nota geral;
• em parte das tarefas, a concordância das LLMs com os humanos supera a concordância entre os humanos, mas isso não elimina a instabilidade geral.

O último ponto é importante para a interpretação. Se os anotadores divergem entre si, a barra para o modelo fica baixa. Nesse caso, dizer que "o modelo concorda com o humano tanto quanto um humano concorda com outro" indica mais ruído na referência do que qualidade do modelo.

O que falta e o que os autores propõem

O resumo do artigo não traz os coeficientes de concordância nem a lista de modelos testados, então comparar os números com outros benchmarks exige consultar o texto completo. A conclusão, porém, é clara: os dois lados têm espaço para melhorar, e a solução pode ser um pipeline de anotação conjunto, em que humano e LLM cobrem as fraquezas um do outro.

O sentido prático dessa abordagem é fácil de entender. O modelo pode fazer a primeira passada em um grande volume de textos e dar uma avaliação aproximada. O humano deve entrar onde o modelo erra de forma sistemática: em erros pequenos, variantes regionais do idioma e marcação precisa de trechos. Os pares de idiomas raros exigem atenção específica, porque ali a anotação humana também sofre.

Como usar o resultado na prática

Para uma equipe que constrói a avaliação da qualidade de tradução com uma LLM como juíza, o trabalho leva a alguns passos:

• verificar a concordância com humanos separadamente por par de idiomas e domínio, e não pela média geral;
• não confiar no modelo para marcar trechos com erros sem uma verificação humana por amostragem;
• testar separadamente a capacidade do juiz de perceber a variante linguística errada e defeitos pequenos;
• medir a concordância entre os próprios anotadores, caso contrário é impossível entender o que a métrica realmente mostra;
• para idiomas raros, prever um esquema híbrido com participação obrigatória de um humano.

Para quem escolhe um juiz para ranquear sistemas de tradução automaticamente, a conclusão é pragmática: a LLM serve como ferramenta de aceleração, mas não como substituta incondicional do especialista. Enquanto a confiabilidade depender da tarefa, não haverá uma "avaliação padrão" universal.