TII dévoile QIMMA, un classement de LLM arabes qui contrôle d'abord la qualité des benchmarks

TII a lancé QIMMA, un nouveau classement pour les LLM arabes qui change la façon d'évaluer les modèles : l'équipe vérifie d'abord la qualité des benchmarks, puis publie les résultats. Les auteurs montrent que même des jeux de données arabes bien connus comportent des erreurs systématiques qui faussent les scores finaux.

Qu'est-ce que QIMMA

QIMMA regroupe 109 sous-ensembles issus de 14 benchmarks d'origine dans un système d'évaluation unique de plus de 52 000 exemples. La couverture est large : culture, STEM, droit, médecine, sécurité, poésie et littérature, ainsi que programmation.

Selon les auteurs, 99 % du contenu est d'origine arabe, et non traduit de l'anglais. C'est important, car les tests traduits brisent souvent le contexte naturel, produisent des formulations maladroites et confrontent les modèles à des tâches qui reflètent mal l'usage réel de l'arabe.

Dans ce contexte, QIMMA se présente non comme un énième tableau de scores, mais comme une tentative de résoudre plusieurs problèmes anciens du TAL arabe : classements dispersés, faible reproductibilité, absence de résultats par exemple et réponses gold non vérifiées.

Les auteurs soulignent aussi une autre différence : c'est le premier classement arabe qui intègre l'évaluation du code. Pour cela, ils ont ajouté des versions arabes adaptées de HumanEval+ et de MBPP+, afin de mesurer non seulement la connaissance de la langue, mais aussi la capacité du modèle à comprendre des tâches de programmation formulées en arabe.

Comment se déroule la vérification

Le cœur du projet est un pipeline de validation en deux étapes. Avant de lancer les modèles, deux grands modèles examinent chaque exemple de façon indépendante : Qwen3-235B-A22B-Instruct et DeepSeek-V3-671B. Ils notent les tâches selon dix critères binaires. Si au moins l'un des modèles attribue à un exemple moins de 7 sur 10, celui-ci est jugé problématique : lorsque les deux modèles sont d'accord, l'exemple est exclu d'emblée ; les cas litigieux sont envoyés à une relecture manuelle par des locuteurs natifs familiers des nuances régionales et dialectales.

QIMMA vérifie les benchmarks avant d'évaluer les modèles, afin que les

scores finaux reflètent la qualité réelle des LLM arabes.

Pour les benchmarks de code, l'équipe a choisi une autre voie. Plutôt que de supprimer des tâches, les chercheurs ont réécrit les énoncés en arabe sans modifier les identifiants, les solutions de référence ni les jeux de tests. Dans HumanEval+, ils ont corrigé 145 prompts sur 164 (88 %) et, dans MBPP+, 308 sur 378 (81 %). Les corrections ont porté sur plusieurs points :

• normalisation de la langue vers un arabe standard moderne naturel
• levée des ambiguïtés et précision des contraintes
• harmonisation de la terminologie, de la ponctuation et du format des exemples
• correction d'erreurs structurelles, comme des chaînes cassées et des fragments de texte corrompus
• clarification du sens là où des plages ou des conditions pouvaient être lues de façon ambiguë

Quels problèmes ont été trouvés

La vérification a montré qu'il ne s'agit pas d'écarts isolés, mais de défauts récurrents dans les jeux de données eux-mêmes. Par exemple, dans ArabicMMLU, l'équipe a écarté 436 exemples (3,1 % du jeu de données) et, dans MizanQA, 41 (2,3 %). Les taux de défauts étaient parfois plus faibles, mais le constat se répétait d'un jeu à l'autre : erreurs dans les bonnes réponses, texte illisible, doublons, étiquettes culturellement contestables et décalage entre la réponse gold et la méthode d'évaluation.

Autrement dit, une partie des benchmarks arabes populaires a été utilisée jusqu'ici comme s'ils étaient sans erreur, ce qui n'est pas le cas.

Sur le jeu nettoyé, Qwen3.5-397B-A17B-FP8 arrive en tête avec une moyenne de 68,06. Karnak est deuxième avec 66,20 et Jais-2-70B-Chat troisième avec 65,81. Les auteurs notent par ailleurs que la taille du modèle ne garantit pas un meilleur résultat. Les modèles spécialisés en arabe sont souvent plus forts sur les tâches culturelles et linguistiques, tandis qu'en programmation, ce sont les systèmes multilingues qui font mieux : Qwen3.5-397B obtient les meilleurs résultats à la fois sur HumanEval+ et sur MBPP+. QIMMA sert donc non seulement de classement, mais aussi de carte des points forts de différentes architectures.

Ce que cela change

QIMMA opère un déplacement simple mais important : comparer des LLM sans vérifier les tests eux-mêmes ne suffit plus. Pour le marché arabe, cela peut devenir un nouveau standard d'évaluation ; pour les développeurs, c'est un rappel que la qualité d'un benchmark pèse sur la réputation d'un modèle autant que le modèle lui-même.