GeopoliticalQA: نموذج bge-m3 يتفوق على التضمينات التجارية في 5 525 سؤال حول التقارير

نشرت مجموعة من الباحثين على arXiv معيار GeopoliticalQA، وهو معيار لأنظمة RAG التي تجيب عن الأسئلة المتعلقة بالتقارير التحليلية الجيوسياسية والاستراتيجية. تضم المجموعة 415 تقريراً مفتوحاً و5 525 زوجاً من «سؤال — جواب»، ويرتبط كل زوج بوثيقة محددة. وهذا يعادل نحو 13 سؤالاً لكل تقرير. والنتيجة الرئيسية أن جودة الاسترجاع على مستوى المقاطع النصية (chunks) لا ترتفع بازدياد حجم نموذج التضمين. فقد ساوى نموذج bge-m3 المفتوح متوسط الحجم نماذج أكبر منه بمقدار رتبة حجمية، وتفوق على واجهات embedding API التجارية. ومع ذلك يبقى التوليد صعباً حتى حين يحصل النموذج على المقاطع الصحيحة.

ما الذي يتضمنه المعيار

التقارير التحليلية لا تلائم RAG القياسي. فصيغها متنوعة، وبنيتها غير متجانسة، وكثيراً ما تتوزع الاستنتاجات القيّمة على عدة أقسام بدلاً من أن تكون في فقرة واحدة. قسّم المؤلفون الأسئلة إلى أربعة أنواع: وقائعية، واستنتاجية (inferential)، ومقارنة، وموجّهة نحو المخاطر.

أنشأ الأسئلة خط معالجة document-aware. يبدأ بتحليل التقرير، أي يحدد موضوع الوثيقة وبنيتها، ثم يولّد الأسئلة. بهذه الطريقة يقل اعتماد الأسئلة على مقطع نصي عشوائي. وجرى التحقق من جودة المجموعة بطريقتين: التقييم اليدوي من خبراء، وبروتوكول LLM-as-judge الذي يضع فيه نموذج لغوي التقييم.

• المدوّنة: 415 تقريراً مفتوحاً جيوسياسياً واستراتيجياً
• الترميز: 5 525 سؤال مرتبطة بالوثائق
• أنواع الأسئلة: وقائعية، واستنتاجية، ومقارنة، ومتعلقة بالمخاطر
• الاسترجاع: 15 نظاماً
• التوليد: ستة نماذج LLM مفتوحة الأوزان (open-weight)
• التحقق من الجودة: خبراء وLLM-as-judge

الاسترجاع: الحجم لا يحسم النتيجة

على مستوى الوثائق، أي عند اختيار التقرير المطلوب، تظهر الأنظمة نتائج متقاربة. وتظهر الفروق على مستوى المقاطع النصية، حيث يجب العثور على مقطع محدد داخل نص طويل. وبحسب المؤلفين، لا تتحدد الجودة هنا بحجم نموذج التضمين. فـ bge-m3 يبقى في مستوى النماذج الأكبر منه بمقدار رتبة حجمية، ويتفوق على واجهات embedding API التجارية.

لا يتضمن الملخص (annotation) أسماء جميع الأنظمة التي جرى اختبارها، ولا قيم المقاييس المحددة. ولمعرفة الفروق الدقيقة لا بد من الرجوع إلى جداول الورقة نفسها. لكن الاتجاه واضح: واجهة API المدفوعة لا تضمن استرجاعاً أفضل على مدوّنة متخصصة.

التوليد: سقف أدنى من المتوقع

في اختبار التوليد، زوّد المؤلفون ستة نماذج LLM مفتوحة بالمقاطع المرجعية، أي استبعدوا أخطاء الاسترجاع. ورغم ذلك يبقى أداء النماذج ضعيفاً، خاصة في أسئلة الاستنتاج وتقدير المخاطر. الأسئلة الوقائعية أسهل لأن الجواب موجود في النص. أما الاستنتاجات والمخاطر فتتطلب مقابلة الادعاءات ببعضها، وموازنة الحجج، وصياغة حكم قد لا يرد في التقرير حرفياً. ولأجل هذه الأجوبة تحديداً تُقرأ التقارير التحليلية.

إذا كان الجواب سيئاً مع سياق مثالي، فالمشكلة ليست في المسترجِع (ретривер). ولن يحل ضبط نظام الاسترجاع هذه المشكلة.

ماذا ينبغي أن تفعل الفرق التي تبني أنظمة RAG

أولاً: لا تختاروا نموذج التضمين بحسب حجمه أو سعره. جرّبوا عدة نماذج على مدوّنتكم الخاصة، بما فيها bge-m3 كخط أساس self-hosted. وتبقى البيانات بذلك داخل نطاقكم، وهذا مهم للوثائق الحساسة.

ثانياً: قيّموا الاسترجاع والتوليد كلاً على حدة. فوضع المقاطع المرجعية يبيّن سقف أداء المولِّد، ويساعد على فهم موضع الخلل في النظام بدقة.

ثالثاً: قسّموا المقاييس بحسب نوع السؤال. فالمتوسط العام يخفي الإخفاق في أسئلة المخاطر والاستنتاج. ويُستحسن إبقاء المراجعة البشرية لهذه الأسئلة.

وهناك قيود أيضاً. فالمدوّنة تتألف من تقارير مفتوحة لا من مواد مغلقة، ويعتمد جزء من التحقق على LLM-as-judge بما يلازمه من انحيازات. ومع ذلك يظل المعيار مفيداً لمقارنة مناهج RAG على النصوص التحليلية.