Apple testou LLMs como juízes de tradução: com MQM e ESA, a tarefa é difícil para humanos e modelos

A Apple ML Research publicou um estudo sobre a possibilidade de substituir avaliadores humanos de tradução automática por modelos de linguagem. Os autores testaram LLMs em dois esquemas de avaliação de qualidade amplamente usados, MQM e ESA, e compararam a concordância delas com a dos humanos. O título do trabalho já traz a conclusão: há dificuldades dos dois lados, tanto para os humanos quanto para os modelos. Uma ressalva: o trecho disponível do resumo é interrompido na comparação com a anotação humana e não traz resultados numéricos. Por isso, o texto abaixo trata da formulação do problema e de suas consequências, não de números.

Dois esquemas, dois níveis de detalhamento

O MQM (Multidimensional Quality Metrics) é considerado a forma mais rigorosa de avaliar uma tradução. O especialista encontra os erros no texto, marca trechos específicos, atribui cada um a uma categoria (precisão, fluência, terminologia e assim por diante) e define a gravidade. O método é preciso, mas caro: exige linguistas qualificados e muito tempo.

O ESA (Error Span Annotation) é mais simples. O anotador também marca os trechos problemáticos, mas sem uma taxonomia detalhada, e dá uma nota geral. É mais barato e rápido, e por isso o esquema vem sendo cada vez mais adotado em campanhas de avaliação em larga escala.

Os dois esquemas trabalham no nível de trechos do texto, e não apenas da nota final. O modelo não precisa só dizer "a tradução é boa ou ruim": tem de indicar onde exatamente está o erro e por quê. Para uma LLM, essa tarefa é bem mais difícil.

O que exatamente foi testado

Os autores partem do princípio de que não se pode considerar as LLMs um substituto confiável dos humanos enquanto não forem testadas em todos os eixos em que a avaliação de tradução varia:

• esquemas de avaliação: MQM e ESA;
• pares de idiomas: dos mais comuns aos que têm menos dados disponíveis;
• domínios dos textos;
• granularidade da anotação: da nota geral a trechos individuais;
• métrica de qualidade: concordância do modelo com os anotadores humanos.

A abordagem é sensata. Com frequência, o LLM-juiz é testado em um único conjunto de dados; ao ver uma boa correlação, declara-se o método adequado. Aqui, a correlação é medida em diferentes recortes, e a nota geral não substitui a verificação da precisão da anotação de cada erro.

Por que "é difícil para os humanos também"

A segunda metade do título talvez seja mais interessante que a primeira. A anotação humana é tomada como referência, mas os próprios anotadores concordam entre si longe do ideal, sobretudo no nível de trechos específicos e da gravidade dos erros. Um especialista marcará uma construção como imprecisão estilística; outro vai ignorá-la ou considerá-la um erro grave.

A consequência para toda a área: a "concordância com o humano" tem um teto, definido pela concordância dos humanos entre si. Se o modelo não alcança a referência, nem sempre fica claro se o problema é dele ou de uma referência ruidosa. Os resultados sobre a qualidade dos LLM-juízes precisam ser lidos com um desconto pela confiabilidade da anotação usada para medi-los.

Como usar isso na prática

Para uma equipe que monta um pipeline de avaliação de tradução ou localização, o estudo sugere algumas regras práticas.

• Não transfira o resultado de um par de idiomas para outro. Teste o LLM-juiz separadamente para cada par e para o domínio de que você precisa.
• Escolha o esquema de acordo com a tarefa. Para o monitoramento regular da qualidade, uma anotação no estilo ESA pode bastar; para casos controversos ou críticos, é preciso MQM e um especialista de carne e osso.
• Meça a concordância entre os próprios anotadores humanos. Sem isso, é impossível saber qual é o limite para o modelo.
• Mantenha humanos no processo, em uma amostra. A avaliação por LLM reduz o custo, mas não elimina a calibração periódica com especialistas.

É preciso consultar o texto completo do artigo na fonte original: os coeficientes finais de concordância e o detalhamento por idioma vão determinar com que segurança as LLMs podem ser usadas onde hoje se paga a linguistas especialistas.