فريق U4RASD يحتل المركز الأول في KnowledgeGraphEval-2026: نتيجة micro-F1 بلغت 94,06 في اللغة العربية

فاز فريق U4RASD بـ Subtask 2 في KnowledgeGraphEval-2026، وهي مسابقة لاستخراج العلاقات الموجَّهة من النصوص العربية. بلغت النتيجة النهائية micro-F1 94,06. وجاءت هذه النتيجة من تجميعة (ensemble) تضم ثلاثة أنظمة: Yehia-RE وQwen-RE والمُرمِّز TypedPair. أما أفضل نموذج منفرد، Yehia-RE، فتوقف عند 92,98، أي أدنى بمقدار 1,08 نقطة.

ما المطلوب من الأنظمة

يتلقى النظام جملة بالعربية وزوج «الفاعل — المفعول». ويُخرج واحدة من 40 علاقة محددة مسبقًا، أو التسمية no_relation إذا لم تكن هناك علاقة بين الكيانين. للاتجاه أهمية: فعبارة «أ يملك ب» و«ب يملك أ» تُعدّان إجابتين مختلفتين. وتجعل التسمية no_relation المهمة أصعب من التصنيف المعتاد، إذ يجب على النظام أن يميّز غياب العلاقة من العلاقة الضعيفة التعبير، وألا يختلق علاقة حيث لا وجود لها.

هذه مرحلة نموذجية في بناء الرسوم المعرفية (knowledge graphs). تُستخرج ثلاثيات من مجموعة نصوص، وتتوقف جودة الرسم المعرفي كله على دقة هذا الاستخراج. وتزيد اللغة العربية الأمر تعقيدًا: صرف غني، وزوائد لصيقة (clitics) تلتصق بالكلمات، وترتيب كلمات يتغير بحسب نوع النص.

معسكران: المُرمِّزات ونماذج LLM

بنى الفريق نظامين من نوعين وقارن بينهما. تلقّت نماذج المُرمِّز (encoder) في الجملة علامات كيانات مصنّفة، أي وسومًا تحدد نوع الفاعل والمفعول. وقُسّم الحل إلى رأسين: يجيب الأول عن سؤال هل توجد علاقة أصلًا، ويختار الثاني نوعها. ويزيل هذا الفصل عبء no_relation عن مصنّف العلاقات.

المسار الثاني هو نماذج LLM. ضبط المؤلفون Yehia وQwen3.5 بطريقة QLoRA، التي تتيح ضبط النماذج الكبيرة على عتاد محدود. والأسلوب الأساسي هنا هو التنبؤ المقيَّد بالأنطولوجيا: يختار النموذج التسمية من مجموعة مسموح بها، ولا يولّد نصًا حرًا. وقد وُصفت نسخة Yehia-RE في نص الملخص بأنها full-vocabulary. ولا يكشف الملخص تفاصيل المقارنة مع النسخة المقيَّدة، ولذلك لا يمكن استخلاص استنتاج عن مساهمة كل أسلوب من هذه الأرقام وحدها. غير أن المؤلفين أنفسهم يعدّون التنبؤ المقيَّد أحد الدروس الرئيسية في العمل.

الأرقام

• تجميعة Yehia-RE + Qwen-RE + TypedPair: micro-F1 بلغ 94,06، والمركز الأول في Subtask 2.
• Yehia-RE (full-vocabulary): 92,98.
• أفضل مُرمِّز: 92,69.
• Qwen-RE: 91,94.
• تفوق التجميعة على أفضل نظام منفرد: 1,08 نقطة، وعلى أفضل مُرمِّز: 1,37، وعلى Qwen-RE: 2,12.

أكثر ما يلفت الانتباه هنا هو المُرمِّز. فهو يتأخر عن Yehia-RE بمقدار 0,29 نقطة فقط، ويتفوق في الوقت نفسه على Qwen-RE بمقدار 0,75. وفي مهمة ضيقة ذات مجموعة تسميات ثابتة، يبقى النموذج المدمج الذي يحظى بوسم جيد للمُدخل منافسًا جادًّا لنموذج LLM المضبوط. وهذا مهم لأن المُرمِّز عادةً أرخص وأسرع في الاستدلال (inference). لكن الملخص لا يتضمن قياسات من هذا النوع، فهذه ملاحظة عامة وليست نتيجة من الورقة.

ومن الجدير بالذكر على حدة أن التجميعة فازت بفضل تنوّع مكوّناتها. فللمُرمِّز والنماذج التوليدية مصادر خطأ مختلفة، ويمنح الجمع بينها مكسبًا لا يتحقق بمجرد إضافة نموذج آخر من العائلة نفسها. ويصوغ المؤلفون الخلاصة بأنفسهم على أنها أهمية الأساليب المتكاملة مقترنةً بالتنبؤ المقيَّد.

ما الذي يمكن الاستفادة منه عمليًا

إذا كنتم تبنون نظامًا لاستخراج العلاقات للعربية أو للغة أخرى محدودة الموارد، فتقترح الورقة عدة خطوات عملية. ابدؤوا باختبار مُرمِّز قوي بعلامات كيانات مصنّفة: فهو خط أساس رخيص يتعين على LLM أن يتفوق عليه فعلًا. ثم قيّدوا مخرجات LLM، عند استخدامه، بمجموعة تسميات من الأنطولوجيا، ولا تتركوا التوليد حرًا. ويصلح QLoRA للضبط، وهو يخفض عتبة الدخول من حيث الذاكرة. وأخيرًا، إذا كان مكسب نقطة أو نقطتين في لوحة الترتيب يبرر التكلفة، فابنوا تجميعة من نماذج ذات معماريات مختلفة.

والقيود واضحة أيضًا. فهذا وصف لنظام واحد في مسابقة واحدة، ولا يقدّم الملخص حجم مجموعة التدريب ولا زمن الاستدلال ولا تفصيلًا للنتائج بحسب الفئات. وقبل نقل هذا النهج إلى بياناتكم، سيتعين عليكم قياس هذه المعطيات بأنفسكم.