TII presenta QIMMA, un ranking de LLM en árabe que verifica la calidad de los benchmarks

TII ha lanzado QIMMA, un nuevo ranking de LLM en árabe que cambia el enfoque de la evaluación: el equipo primero comprueba la calidad de los benchmarks y solo después publica resultados. Los autores demuestran que incluso conjuntos de datos árabes muy conocidos contienen errores sistemáticos que distorsionan las puntuaciones finales.

Qué es QIMMA

QIMMA reúne 109 subconjuntos de 14 benchmarks originales en un único sistema de evaluación de más de 52.000 ejemplos. La cobertura es amplia: cultura, STEM, derecho, medicina, seguridad, poesía y literatura, y programación.

Según los autores, el 99 % del contenido es originalmente en árabe y no una traducción del inglés. Esto importa porque las pruebas traducidas suelen romper el contexto natural, generar formulaciones torpes y plantear a los modelos tareas que reflejan mal el uso real del árabe.

En este contexto, QIMMA se presenta no como una tabla de puntuaciones más, sino como un intento de resolver varios problemas antiguos del PLN árabe: rankings fragmentados, baja reproducibilidad, ausencia de resultados por ejemplo y respuestas gold sin verificar.

Los autores subrayan además otra diferencia: es el primer ranking árabe con evaluación de código integrada. Para ello añadieron versiones árabes adaptadas de HumanEval+ y MBPP+, de modo que se mida no solo el conocimiento del idioma, sino también la capacidad del modelo para entender tareas de programación formuladas en árabe.

Cómo funciona la verificación

La pieza clave del proyecto es un proceso de validación en dos etapas. Antes de ejecutar los modelos, dos modelos grandes revisan cada ejemplo de forma independiente: Qwen3-235B-A22B-Instruct y DeepSeek-V3-671B. Evalúan las tareas con diez criterios binarios. Si al menos uno de los modelos da a un ejemplo menos de 7 sobre 10, se considera problemático: si ambos coinciden, el ejemplo se excluye de inmediato; los casos dudosos pasan a revisión manual por hablantes nativos que conocen los matices regionales y dialectales.

QIMMA verifica los benchmarks antes de evaluar los modelos para que

las puntuaciones finales reflejen la calidad real de los LLM en árabe.

Para los benchmarks de código, el equipo siguió otro camino. En lugar de eliminar tareas, los investigadores reescribieron los enunciados en árabe sin cambiar los identificadores, las soluciones de referencia ni los conjuntos de tests. En HumanEval+ corrigieron 145 de 164 prompts (88 %) y en MBPP+, 308 de 378 (81 %). Los cambios abarcaron varios aspectos:

• normalización del idioma hacia un árabe estándar moderno natural
• eliminación de ambigüedades y precisión de las restricciones
• unificación de terminología, puntuación y formato de los ejemplos
• corrección de errores estructurales, como cadenas rotas y fragmentos de texto dañados
• aclaración del sentido donde los rangos o las condiciones podían leerse de forma ambigua

Qué problemas se encontraron

La revisión mostró que no se trata de fallos aislados, sino de defectos recurrentes en los propios conjuntos de datos. Por ejemplo, en ArabicMMLU el equipo descartó 436 ejemplos (el 3,1 % del conjunto) y en MizanQA, 41 (el 2,3 %). Hubo porcentajes de error menores, pero el patrón se repitió en distintos conjuntos: errores en las respuestas correctas, texto ilegible, duplicados, etiquetas culturalmente discutibles y desajustes entre la respuesta gold y el método de evaluación.

En otras palabras, algunos benchmarks árabes populares se han usado hasta ahora como si no tuvieran errores, cuando sí los tienen.

En el conjunto depurado, Qwen3.5-397B-A17B-FP8 lidera con una media de 68,06. Karnak es segundo con 66,20 y Jais-2-70B-Chat, tercero con 65,81. Los autores señalan también que el tamaño del modelo no garantiza un mejor resultado. Los modelos especializados en árabe suelen rendir mejor en tareas culturales y lingüísticas, mientras que en programación destacan los sistemas multilingües: Qwen3.5-397B obtiene los mejores resultados tanto en HumanEval+ como en MBPP+. Así, QIMMA sirve no solo como clasificación, sino también como mapa de las fortalezas de distintas arquitecturas.

Qué significa

QIMMA introduce un cambio sencillo pero importante: comparar LLM sin verificar las propias pruebas ya no basta. Para el mercado árabe, puede convertirse en un nuevo estándar de evaluación; para los desarrolladores, es un recordatorio de que la calidad de un benchmark influye en la reputación de un modelo tanto como el propio modelo.