U4RASD décroche la 1re place à KnowledgeGraphEval-2026 : 94,06 de micro-F1 en arabe

L'équipe U4RASD a remporté le Subtask 2 de KnowledgeGraphEval-2026, une compétition d'extraction dirigée de relations à partir de textes arabes. Son micro-F1 final atteint 94,06. Ce score vient d'un ensemble de trois systèmes : Yehia-RE, Qwen-RE et l'encodeur TypedPair. Le meilleur modèle pris seul, Yehia-RE, s'arrête à 92,98, soit 1,08 point de moins.

Ce que les systèmes devaient accomplir

En entrée, une phrase en arabe et une paire « sujet — objet ». En sortie, l'une des 40 relations prédéfinies, ou l'étiquette no_relation lorsqu'aucune relation n'existe entre les entités. La direction compte : « A possède B » et « B possède A » constituent deux réponses distinctes. L'étiquette no_relation complique la tâche par rapport à une classification ordinaire. Le système doit distinguer l'absence de relation d'une relation faiblement exprimée, et ne pas inventer de lien là où il n'y en a pas.

C'est une étape classique de la construction de graphes de connaissances. On extrait des triplets d'un corpus de textes, et la qualité de tout le graphe dépend de leur précision. L'arabe ajoute ses propres difficultés : une morphologie riche, des clitiques qui s'agglutinent aux mots et un ordre des mots qui varie selon le genre du texte.

Deux camps : encodeurs et LLM

L'équipe a construit deux types de systèmes et les a comparés. Les modèles encodeurs recevaient dans la phrase des marqueurs d'entités typés, c'est-à-dire un balisage indiquant le type du sujet et de l'objet. L'architecture se divise en deux têtes : l'une répond à la question de l'existence d'une relation, l'autre en choisit le type. Ce découplage évite que no_relation ne pèse sur le classifieur de relations.

La seconde piste repose sur les LLM. Les auteurs ont affiné Yehia et Qwen3.5 avec QLoRA, une méthode qui permet d'ajuster de grands modèles sur du matériel limité. L'astuce clé est la prédiction contrainte par l'ontologie : le modèle choisit une étiquette dans un ensemble autorisé au lieu de générer du texte libre. Dans l'abstract, la variante Yehia-RE est qualifiée de full-vocabulary. L'abstract ne détaille pas la comparaison avec la version contrainte ; ces seuls chiffres ne permettent donc pas de conclure sur l'apport de chaque technique. Les auteurs eux-mêmes présentent toutefois la prédiction contrainte comme l'une des principales leçons de leur travail.

Les chiffres

• Ensemble Yehia-RE + Qwen-RE + TypedPair : micro-F1 94,06, première place au Subtask 2.
• Yehia-RE (full-vocabulary) : 92,98.
• Meilleur encodeur : 92,69.
• Qwen-RE : 91,94.
• Écart de l'ensemble avec le meilleur système isolé : 1,08 point ; avec le meilleur encodeur : 1,37 ; avec Qwen-RE : 2,12.

L'encodeur est ici le point le plus intéressant. Il ne cède que 0,29 point à Yehia-RE et devance Qwen-RE de 0,75. Pour une tâche étroite avec un jeu d'étiquettes fixe, un modèle compact doté d'un bon balisage d'entrée reste un concurrent sérieux face à un LLM affiné. C'est important, car un encodeur est en général moins coûteux et plus rapide à l'inférence. L'abstract ne contient aucune mesure de ce type : il s'agit donc d'une considération générale, pas d'un résultat de l'article.

Il faut aussi noter que l'ensemble gagne grâce à l'hétérogénéité de ses composants. L'encodeur et les modèles génératifs ont des sources d'erreurs différentes, et leur combinaison apporte un gain qu'on n'obtiendrait pas en ajoutant simplement un autre modèle de la même famille. Les auteurs formulent eux-mêmes leur conclusion comme l'importance des approches complémentaires associées à la prédiction contrainte.

Ce qu'il faut en retenir en pratique

Si vous construisez un système d'extraction de relations pour l'arabe ou pour une autre langue peu dotée en ressources, l'article suggère plusieurs pistes concrètes. Commencez par tester un encodeur solide à marqueurs typés : c'est une base peu coûteuse que le LLM devra réellement dépasser. Ensuite, si vous utilisez un LLM, contraignez sa sortie à l'ensemble des étiquettes de l'ontologie plutôt que de laisser une génération libre. QLoRA convient pour l'affinage et abaisse le seuil d'entrée en matière de mémoire. Enfin, si un gain d'un à deux points au classement justifie le coût, assemblez un ensemble de modèles d'architectures différentes.

Les limites sont également évidentes. Il s'agit de la description d'un seul système sur une seule compétition, et l'abstract ne donne ni la taille du jeu d'entraînement, ni le temps d'inférence, ni la ventilation par classe. Avant de transposer l'approche à vos propres données, il vous faudra mesurer ces paramètres vous-même.