Agentic Legal RAG Challenge 2026: كيف اختبر فريق Sparks of intelligence حدود agentic RAG

نشر فريق Sparks of intelligence تحليلًا مفصّلًا لمشاركته في Agentic Legal RAG Challenge 2026، وهو هاكاثون دولي في مجال legal RAG. وليس هذا التقرير حكاية فوز لافت، بل تقريرًا هندسيًا مفيدًا يشرح لماذا تتعثر أنظمة البحث في الوثائق عند تحضير السياق في كثير من الأحيان أكثر مما تتعثر عند اختيار نموذج LLM نفسه.

كيف نُظّم الهاكاثون

نظّمت المسابقة شركة EORA AI Applications and Services. وكان على المشاركين بناء نظام يجيب عن أسئلة تتعلق بوثائق محاكم مركز دبي المالي العالمي — DIFC. جرى الهاكاثون على مرحلتين: في الفترة من 11 إلى 19 مارس 2026 عمل المشاركون على 30 وثيقة و100 سؤال، وفي المرحلة النهائية التي أُقيمت من 20 إلى 22 مارس 2026 ارتفع الحجم إلى 300 وثيقة و900 سؤال. وبلغ إجمالي الجوائز 32 000 دولار، وشارك في المسابقة أكثر من 300 شخص.

ولم تقتصر الصعوبة على حجم البيانات. فقد وضع المنظمون مسبقًا أنواعًا مختلفة من الإجابات: boolean وname وdate وnumber وfree text. أي أن نموذج توليد واحدًا لم يكن كافيًا؛ إذ كان على النظام أن يستخرج الواقعة بدقة، وأن يحافظ على السياق، وألا يستهلك وقتًا ورموزًا (tokens) أكثر من اللازم. وجرى تقييم الإجابات النصية الحرة بواسطة LLM، وكانت الدقة والسرعة وتكلفة المعالجة من بين المعايير الرئيسية. وبالتالي لم يكن اختبار المشاركين في القدرة على «ربط روبوت دردشة»، بل في نضج مسار الاسترجاع (retrieval) بأكمله.

نسختان من النظام

بنى الفريق بنيتين على حزمة تقنية واحدة: Qdrant قاعدةً للمتجهات، وLlamaIndex للعمل مع الفهارس وطبقات LLM المجرّدة، وUnstructured لاستخراج النص من ملفات PDF مع الحفاظ على البنية. بعد ذلك افترق المساران.

كانت النسخة الأولى عملية إلى أقصى حد: تجزئة بحسب الصفحات مع تداخل، وبحث هجين، وتصفية بحسب البيانات الوصفية (metadata) والتعبيرات النمطية (regex). أما النسخة الثانية فكانت أكثر طموحًا بوضوح: تجزئة هرمية، وتحليل مسبق للبنية بواسطة LLM، ووكيل موجّه (router) يختار أداة البحث المناسبة لكل سؤال.

• قسّمت النسخة البسيطة الوثائق بحسب الصفحات، ووفّرت بذلك إسنادًا (grounding) واضحًا فورًا.
• اعتمد البحث فيها على مزيج من المتجهات والبيانات الوصفية ومرشحات regex.
• استخدمت النسخة الوكيلية موجّهًا وأربع أدوات: البحث في البيانات الوصفية، والمطابقة التامة، ومقارنة الوثائق، والبحث الهجين.
• وفي كلتا البنيتين استُخدم معيد ترتيب (reranker) لإعادة ترتيب أفضل k مرشحًا (top-k) ورفع مستوى الصلة.

وعمليًا، تبيّن أن البنية البسيطة كانت أكثر استقرارًا. فقد أمكن تجميعها بسرعة، وكان سلوكها قابلًا للتنبؤ، وكان من الأسهل تتبّع مصدر الإجابة. أما البنية الوكيلية فبدت أقوى على الورق، لكنها كانت أكثر كلفة من حيث الوقت: استدعاءان لـ LLM، وتجزئة غير مستقرة، ونقاط فشل أكثر. وحتى بعد إصلاح جزء من الأخطاء، لم يتمكن الفريق من تشغيل المسار كاملًا وضبطه بالشكل الكافي. وفي هاكاثون بموعد نهائي صارم يُعدّ هذا أمرًا حاسمًا: فالتعقيد الزائد يلتهم بسرعة المكسب المتوقع من البنية «الذكية».

أين كانت الأعطال

كانت المشكلة الرئيسية في تجزئة النصوص (chunking). فالقالب نفسه للتقسيم كان يعمل بشكل مختلف على صفحات مختلفة، وكان لا بد من إلصاق الشظايا الصغيرة عديمة المعنى بالقطع المجاورة. وفي النسخة البسيطة سببت التعبيرات النمطية (regex) مشكلات أيضًا: فهي سرّعت البحث عن الأنماط، لكنها فوّتت حالات مطلوبة بسهولة أو أعطت نتائج إيجابية خاطئة.

وبرزت بشكل منفصل مسألة الإسناد إلى المصادر (grounding): ففي البداية لم تُحمَّل الروابط والبيانات الوصفية المطلوبة كما ينبغي، ثم جرى إصلاح ذلك، لكن الدقة تراجعت مع تحسّن الإسناد. وهذا مثال جيد على أن نظام الاسترجاع نادرًا ما يُحسَّن بحسب مقياس واحد دون آثار جانبية.

«من المستحيل عمليًا بناء نظام كهذا في مثل هذه المهلة الضيقة دون وكلاء برمجيين».

وقد أكدت النتائج النهائية ذلك. فقد بلغ الحل البسيط دقة 0.79 مع grounding بقيمة 0.63، وأظهر سلوكًا مستقرًا وإن لم يكن مثاليًا. أما النسخة الوكيلية الأكثر تعقيدًا فقد خسرت من حيث الدقة في المرحلة التمهيدية وعملت بصورة أبطأ، ولم يتمكن الفريق من تسليمها في المرحلة النهائية بسبب أخطاء API قبل الموعد النهائي.

ويحذّر المؤلفون كذلك من فخ آخر: فالوكلاء البرمجيون مفيدون في الأعمال المساندة والمهام الروتينية، لكنهم في المهام المعقدة قد يستبدلون الخطوات الحقيقية بحلول وهمية (stubs) أو «أرقام سحرية» أو حيل ضيقة بالتعبيرات النمطية، تبدو حلًّا لكنها لا تصمد أمام اختبار حقيقي.

ماذا يعني ذلك

يُظهر هذا التحليل بوضوح الوضع الفعلي لـ agentic RAG في عام 2026. ففي مهام الوثائق القانونية لا يفوز المخطط الأكثر إبهارًا، بل ذاك الذي تُضبط فيه تجزئة النصوص والإسناد إلى المصادر والبيانات الوصفية والاختبار. أما بالنسبة إلى الفرق التي تبني بحثًا بالذكاء الاصطناعي في قواعد المعرفة الداخلية، فالخلاصة بسيطة: ينبغي أولًا بناء استرجاع (retrieval) موثوق وقابل للقياس، وبعد ذلك فقط إضافة الموجّهات والوكلاء والتنسيق المعقد.