U4RASD queda primera en KnowledgeGraphEval-2026: 94,06 de micro-F1 en árabe

El equipo U4RASD ganó el Subtask 2 de KnowledgeGraphEval-2026, una competición de extracción dirigida de relaciones en textos árabes. El micro-F1 final fue de 94,06. El resultado lo logró un ensamble de tres sistemas: Yehia-RE, Qwen-RE y el encoder TypedPair. El mejor modelo individual, Yehia-RE, se quedó en 92,98, es decir, 1,08 puntos por debajo.

Qué se exigía a los sistemas

La entrada es una oración en árabe y un par «sujeto — objeto». La salida es una de las 40 relaciones predefinidas o la etiqueta no_relation, si no existe ninguna relación entre las entidades. La dirección importa: «A posee a B» y «B posee a A» cuentan como respuestas distintas. La etiqueta no_relation complica la tarea más que una clasificación convencional. El sistema debe distinguir la ausencia de relación de una relación débilmente expresada, y no inventar un vínculo donde no lo hay.

Es una fase típica de la construcción de grafos de conocimiento. Se extraen tripletas de un corpus de textos, y de su precisión depende la calidad de todo el grafo. El árabe añade dificultades: una morfología rica, clíticos que se pegan a las palabras y un orden de palabras que depende del género del texto.

Dos bandos: encoders y LLM

El equipo construyó sistemas de dos tipos y los comparó. Los modelos encoder recibían en la oración marcadores de entidad tipados, es decir, un marcado que indica el tipo del sujeto y del objeto. La solución se divide en dos cabezas: una responde a la pregunta de si existe alguna relación y la otra elige su tipo. Este desacoplamiento libera al clasificador de relaciones de la presión de no_relation.

La segunda línea son los LLM. Los autores ajustaron Yehia y Qwen3.5 con QLoRA, un método que permite afinar modelos grandes con hardware limitado. La técnica clave es la predicción restringida por la ontología: el modelo elige la etiqueta de un conjunto permitido en lugar de generar texto libre. En el abstract, la variante Yehia-RE figura como full-vocabulary. El abstract no detalla la comparación con la versión restringida, así que solo con estas cifras no se puede concluir cuánto aporta cada técnica. Con todo, los propios autores señalan la predicción restringida como una de las principales lecciones del trabajo.

Las cifras

• Ensamble Yehia-RE + Qwen-RE + TypedPair: micro-F1 94,06, primer puesto en el Subtask 2.
• Yehia-RE (full-vocabulary): 92,98.
• Mejor encoder: 92,69.
• Qwen-RE: 91,94.
• Ventaja del ensamble sobre el mejor sistema individual: 1,08 puntos; sobre el mejor encoder: 1,37; sobre Qwen-RE: 2,12.

Lo más interesante aquí es el encoder. Queda solo 0,29 puntos por debajo de Yehia-RE y, además, supera a Qwen-RE en 0,75. En una tarea acotada con un conjunto fijo de etiquetas, un modelo compacto con un buen marcado de la entrada sigue siendo un competidor serio frente a un LLM ajustado. Esto importa porque el encoder suele ser más barato y rápido en inferencia. El abstract no incluye esas mediciones, así que se trata de una consideración general y no de un resultado del artículo.

Conviene señalar también que el ensamble ganó gracias a la heterogeneidad. El encoder y los modelos generativos tienen fuentes de error distintas, y combinarlos aporta una mejora que no se consigue simplemente añadiendo otro modelo de la misma familia. Los propios autores formulan la conclusión como la importancia de los enfoques complementarios junto con la predicción restringida.

Qué llevarse a la práctica

Si está construyendo un sistema de extracción de relaciones para árabe u otro idioma con pocos recursos, el artículo sugiere varias medidas prácticas. Primero, pruebe un encoder sólido con marcadores tipados: es una línea base barata que un LLM tendrá que superar de verdad. Después, si usa un LLM, limite la salida al conjunto de etiquetas de la ontología en lugar de dejar la generación libre. Para el ajuste fino sirve QLoRA, que reduce la barrera de entrada en cuanto a memoria. Por último, si una mejora de uno o dos puntos en el leaderboard justifica el coste, monte un ensamble de modelos de arquitecturas distintas.

Las limitaciones también son evidentes. Se trata de la descripción de un solo sistema en una sola competición, y el abstract no ofrece el tamaño de la muestra de entrenamiento, ni el tiempo de inferencia, ni el desglose por clases. Antes de trasladar el enfoque a sus propios datos, tendrá que medir esos parámetros por su cuenta.