TII apresenta o QIMMA, ranking de LLMs em árabe que verifica a qualidade dos benchmarks

O TII lançou o QIMMA, um novo ranking para LLMs em árabe que muda a forma de avaliar modelos: a equipe primeiro verifica a qualidade dos benchmarks e só depois publica os resultados. Os autores mostram que até conjuntos de dados árabes conhecidos têm erros sistemáticos que distorcem as pontuações finais.

O que é o QIMMA

O QIMMA une 109 subconjuntos de 14 benchmarks originais em um único sistema de avaliação com mais de 52 mil exemplos. A cobertura é ampla: cultura, STEM, direito, medicina, segurança, poesia e literatura, além de programação.

Segundo os autores, 99% do conteúdo é originalmente em árabe, e não traduzido do inglês. Isso importa porque testes traduzidos costumam quebrar o contexto natural, gerar formulações desajeitadas e dar aos modelos tarefas que refletem mal o uso real do árabe.

Nesse cenário, o QIMMA se apresenta não como mais uma tabela de pontuações, mas como uma tentativa de resolver de uma vez vários problemas antigos do PLN árabe: rankings fragmentados, baixa reprodutibilidade, falta de resultados por exemplo e respostas gold não verificadas.

Os autores destacam ainda outra diferença: é o primeiro ranking árabe com avaliação de código embutida. Para isso, adicionaram versões árabes adaptadas do HumanEval+ e do MBPP+, a fim de medir não só o conhecimento da língua, mas também a capacidade do modelo de entender tarefas de programação formuladas em árabe.

Como funciona a verificação

O núcleo do projeto é um pipeline de validação em duas etapas. Antes de rodar os modelos, dois modelos grandes checam cada exemplo de forma independente: Qwen3-235B-A22B-Instruct e DeepSeek-V3-671B. Eles avaliam as tarefas por dez critérios binários. Se pelo menos um dos modelos der a um exemplo menos de 7 de 10, ele é considerado problemático: quando os dois concordam, o exemplo é excluído de imediato; os casos controversos seguem para revisão manual por falantes nativos que conhecem as nuances regionais e dialetais.

O QIMMA verifica os benchmarks antes de avaliar os modelos para que as

pontuações finais reflitam a qualidade real dos LLMs em árabe.

Nos benchmarks de código, a equipe seguiu outro caminho. Em vez de remover tarefas, os pesquisadores reescreveram os enunciados em árabe sem mudar identificadores, soluções de referência e conjuntos de testes. No HumanEval+, corrigiram 145 de 164 prompts (88%) e, no MBPP+, 308 de 378 (81%). As correções envolveram vários pontos:

• normalização da língua para um árabe padrão moderno natural
• remoção de ambiguidades e esclarecimento de restrições
• alinhamento de terminologia, pontuação e formato dos exemplos
• correção de erros estruturais, como strings quebradas e trechos de texto corrompidos
• esclarecimento do sentido onde intervalos ou condições podiam ser lidos de forma ambígua

Que problemas foram encontrados

A verificação mostrou que não se trata de falhas isoladas, mas de defeitos recorrentes nos próprios conjuntos de dados. Por exemplo, no ArabicMMLU a equipe descartou 436 exemplos (3,1% do dataset) e, no MizanQA, 41 (2,3%). Houve taxas menores de problemas, mas o padrão se repetiu em vários conjuntos: erros em respostas corretas, texto ilegível, duplicatas, rótulos culturalmente questionáveis e descompasso entre a resposta gold e o método de avaliação.

Em outras palavras, parte dos benchmarks árabes populares vinha sendo usada como se não tivesse erros, o que não é verdade.

No conjunto limpo, o Qwen3.5-397B-A17B-FP8 ficou em primeiro, com média de 68,06. O Karnak vem em segundo, com 66,20, e o Jais-2-70B-Chat em terceiro, com 65,81. Os autores também observam que o tamanho do modelo não garante um resultado melhor. Modelos especializados em árabe costumam ir melhor em tarefas culturais e linguísticas, enquanto em programação se saem melhor os sistemas multilíngues: o Qwen3.5-397B tem os melhores resultados tanto no HumanEval+ quanto no MBPP+. Ou seja, o QIMMA serve não só como ranking, mas também como mapa dos pontos fortes de diferentes arquiteturas.

O que isso significa

O QIMMA faz uma mudança simples, mas importante: comparar LLMs sem verificar os próprios testes já não basta. Para o mercado árabe, isso pode virar um novo padrão de avaliação; para os desenvolvedores, é um lembrete de que a qualidade do benchmark pesa na reputação de um modelo tanto quanto o próprio modelo.