U4RASD заняла 1-е место в KnowledgeGraphEval-2026: 94,06 micro-F1 на арабском

Команда U4RASD выиграла Subtask 2 на KnowledgeGraphEval-2026, соревновании по направленному извлечению отношений из арабских текстов. Итоговый micro-F1 составил 94,06. Результат дал ансамбль из трёх систем: Yehia-RE, Qwen-RE и энкодера TypedPair. Лучшая одиночная модель, Yehia-RE, остановилась на 92,98, то есть на 1,08 пункта ниже.

Что требовалось от систем

На входе предложение на арабском и пара «субъект — объект». На выходе одна из 40 заданных связей или метка no_relation, если отношения между сущностями нет. Направление имеет значение: «А владеет Б» и «Б владеет А» считаются разными ответами. Метка no_relation делает задачу неприятнее, чем обычная классификация. Система должна отличать отсутствие связи от слабо выраженной и не придумывать связь там, где её нет.

Это типичный этап построения графов знаний. Из корпуса текстов достают тройки, и от точности зависит качество всего графа. Арабский добавляет сложностей: богатая морфология, клитики, которые приклеиваются к словам, и порядок слов, зависящий от жанра текста.

Два лагеря: энкодеры и LLM

Команда построила системы двух типов и сравнила их. Энкодерные модели получали в предложении типизированные маркеры сущностей, то есть разметку с указанием типа субъекта и объекта. Решение разбито на две головы: одна отвечает на вопрос, существует ли отношение вообще, вторая выбирает его тип. Такая развязка снимает давление no_relation с классификатора связей.

Вторая линия — LLM. Авторы дообучали Yehia и Qwen3.5 методом QLoRA, который позволяет тюнить большие модели на ограниченном железе. Ключевой приём — предсказание с ограничением по онтологии: модель выбирает метку из допустимого набора, а не генерирует произвольный текст. В тексте абстракта вариант Yehia-RE помечен как full-vocabulary. Детали сравнения с ограниченной версией абстракт не раскрывает, поэтому вывод о вкладе каждого приёма по одним этим цифрам сделать нельзя. Зато сами авторы называют ограниченное предсказание одним из главных уроков работы.

Цифры

• Ансамбль Yehia-RE + Qwen-RE + TypedPair: micro-F1 94,06, первое место в Subtask 2.
• Yehia-RE (full-vocabulary): 92,98.
• Лучший энкодер: 92,69.
• Qwen-RE: 91,94.
• Отрыв ансамбля от лучшей одиночной системы: 1,08 пункта, от лучшего энкодера: 1,37, от Qwen-RE: 2,12.

Самое интересное здесь — энкодер. Он уступает Yehia-RE всего 0,29 пункта и при этом обходит Qwen-RE на 0,75. Для узкой задачи с фиксированным набором меток компактная модель с хорошей разметкой входа остаётся серьёзным конкурентом дообученной LLM. Это важно, потому что энкодер, как правило, дешевле и быстрее на инференсе. В абстракте таких измерений нет, так что это общее соображение, а не результат статьи.

Отдельно стоит заметить, что ансамбль выиграл за счёт разнородности. У энкодера и генеративных моделей разные источники ошибок, и их объединение даёт прирост, которого не получить, просто взяв ещё одну модель того же семейства. Авторы сами формулируют вывод как важность комплементарных подходов вместе с ограниченным предсказанием.

Что из этого взять в работу

Если вы строите извлечение отношений для арабского или другого языка с небогатыми ресурсами, из статьи вытекает несколько практических ходов. Сначала проверьте сильный энкодер с типизированными маркерами: это дешёвая база, которую LLM придётся реально превзойти. Затем при использовании LLM ограничивайте выход набором меток из онтологии, а не оставляйте свободную генерацию. Для дообучения подойдёт QLoRA, и это снижает порог входа по памяти. Наконец, если прирост в пункт-два на лидерборде оправдывает стоимость, собирайте ансамбль из моделей разной архитектуры.

Ограничения тоже очевидны. Это описание одной системы на одном соревновании, и абстракт не даёт ни размера обучающей выборки, ни времени инференса, ни разбивки по классам. Перед тем как переносить подход на свои данные, эти параметры придётся измерить самостоятельно.