U4RASD fica em 1º lugar no KnowledgeGraphEval-2026: 94,06 de micro-F1 em árabe

A equipe U4RASD venceu o Subtask 2 do KnowledgeGraphEval-2026, competição de extração direcionada de relações em textos em árabe. O micro-F1 final foi de 94,06. O resultado veio de um ensemble de três sistemas: Yehia-RE, Qwen-RE e o encoder TypedPair. O melhor modelo individual, Yehia-RE, parou em 92,98, ou seja, 1,08 ponto abaixo.

O que os sistemas precisavam fazer

A entrada é uma frase em árabe e um par "sujeito — objeto". A saída é uma entre 40 relações predefinidas ou o rótulo no_relation, quando não há relação entre as entidades. A direção importa: "A possui B" e "B possui A" contam como respostas diferentes. O rótulo no_relation torna a tarefa mais traiçoeira do que uma classificação comum. O sistema precisa distinguir a ausência de relação de uma relação pouco explícita e não inventar um vínculo onde ele não existe.

Essa é uma etapa típica da construção de grafos de conhecimento. As triplas são extraídas de um corpus de textos, e a precisão da extração determina a qualidade de todo o grafo. O árabe acrescenta dificuldades: morfologia rica, clíticos que se colam às palavras e uma ordem das palavras que depende do gênero do texto.

Dois campos: encoders e LLMs

A equipe construiu sistemas dos dois tipos e os comparou. Os modelos encoder recebiam na frase marcadores tipados de entidades, isto é, uma marcação que indica o tipo do sujeito e do objeto. A solução é dividida em duas cabeças: uma responde se existe alguma relação, e a outra escolhe o tipo. Essa separação tira do classificador de relações a pressão do no_relation.

A segunda linha são os LLMs. Os autores ajustaram Yehia e Qwen3.5 com QLoRA, método que permite ajustar modelos grandes em hardware limitado. O principal recurso é a predição restrita pela ontologia: o modelo escolhe o rótulo dentro de um conjunto permitido, em vez de gerar texto livre. No texto do abstract, a variante Yehia-RE aparece marcada como full-vocabulary. O abstract não detalha a comparação com a versão restrita, então não é possível concluir, só por esses números, quanto cada técnica contribuiu. Ainda assim, os próprios autores apontam a predição restrita como uma das principais lições do trabalho.

Os números

• Ensemble Yehia-RE + Qwen-RE + TypedPair: micro-F1 de 94,06, primeiro lugar no Subtask 2.
• Yehia-RE (full-vocabulary): 92,98.
• Melhor encoder: 92,69.
• Qwen-RE: 91,94.
• Vantagem do ensemble sobre o melhor sistema individual: 1,08 ponto; sobre o melhor encoder: 1,37; sobre o Qwen-RE: 2,12.

O ponto mais interessante é o encoder. Ele fica apenas 0,29 ponto atrás do Yehia-RE e, ao mesmo tempo, supera o Qwen-RE em 0,75. Em uma tarefa estreita, com conjunto fixo de rótulos, um modelo compacto com boa marcação da entrada continua sendo um concorrente sério de um LLM ajustado. Isso importa porque o encoder costuma ser mais barato e mais rápido na inferência. O abstract não traz essas medições, então isso é uma consideração geral, e não um resultado do artigo.

Vale notar ainda que o ensemble venceu graças à diversidade. Encoder e modelos generativos têm fontes de erro diferentes, e combiná-los gera um ganho que não se obtém simplesmente adicionando mais um modelo da mesma família. Os próprios autores formulam a conclusão como a importância de abordagens complementares aliadas à predição restrita.

O que levar para a prática

Se você está construindo extração de relações para árabe ou outro idioma com poucos recursos, o artigo sugere alguns passos práticos. Primeiro, teste um encoder forte com marcadores tipados: é uma base barata que o LLM precisará superar de verdade. Depois, ao usar LLMs, restrinja a saída ao conjunto de rótulos da ontologia, em vez de deixar a geração livre. Para o ajuste fino, o QLoRA serve e reduz a exigência de memória. Por fim, se um ganho de um a dois pontos no leaderboard justificar o custo, monte um ensemble de modelos de arquiteturas diferentes.

As limitações também são evidentes. Trata-se da descrição de um único sistema em uma única competição, e o abstract não informa o tamanho do conjunto de treino, o tempo de inferência nem o desempenho por classe. Antes de transferir a abordagem para os seus dados, será preciso medir esses parâmetros por conta própria.