COFFEQA يضيف 8,77 نقطة EM إلى التقطير بقليل من الأمثلة على TriviaQA بفضل الأمثلة المضادة للواقع

اقترح باحثون COFFEQA، وهي طريقة لتقطير نموذج لغوي للإجابة عن الأسئلة المستندة إلى سياق عندما لا يتوفر للتدريب سوى بضع عشرات من الأمثلة. على TriviaQA مع 32 زوجًا ونماذج من عائلة T5، تتفوق الطريقة على التقطير المعتمد على الأمثلة الواقعية وحدها بمقدار 8,77 نقطة في متوسط EM و9,98 نقطة في متوسط F1. وتشمل التجارب خمسة معايير QA من نوع in-domain وثلاثة من نوع out-of-domain، وتُستخدم فيها نماذج T5 وQwen2.5. نُشر العمل على arXiv في قسم cs.CL بوصفه نسخة أولية (preprint)، ولم يخضع للمراجعة العلمية بعد.

اختيار الأمثلة يحسم أكثر مما يبدو

يُستخدم تقطير المعرفة ليحاكي نموذج صغير («الطالب») سلوك نموذج كبير («المعلّم») في ظل موارد محدودة. وعادةً تستهلك العملية موارد كبيرة، إذ تحتاج إلى كثير من البيانات والحوسبة. ويظهر ذلك خصوصًا في المهام التوليدية، حيث يقلّد الطالب إجابة مفصّلة بدلًا من اختيار فئة. ويخفف التقطير بقليل من الأمثلة (few-shot) جزءًا من المشكلة، إذ ينقل معرفة المعلّم باستخدام عيّنة صغيرة.

لكن لهذا النهج نقطة ضعف. يُظهر المؤلفون أن الجودة تعتمد بدرجة كبيرة على العيّنات المحددة. وأكثر النتائج مفاجأة تتعلق بالأمثلة غير المحسومة القريبة من حدود قرار المعلّم. قد يبدو أنها الأكثر فائدة، لكنها في الواقع تُضعف نتيجة التقطير النهائية بشكل ملحوظ. ومع ميزانية صغيرة، تكلّف كل عيّنة سيئة ثمنًا باهظًا.

أمثلة مضادة للواقع بدلًا من مثال واقعي آخر

يضيف COFFEQA إشارة إضافية إلى الأمثلة الواقعية الصعبة. في وضع open-book QA، حيث يجيب النموذج استنادًا إلى سياق مُمرَّر إليه، يُعرَّف المثال المضاد للواقع (counterfactual) كما يلي: هو سياق عُدّل بأقل قدر ممكن، فيعطي المعلّم بعده إجابة مختلفة. وهكذا نحصل على زوج «السياق الأصلي — السياق المعدَّل» مع إجابتين مختلفتين من المعلّم. بذلك يرى الطالب موضع حدّ القرار، لا النقاط الواقعة على أحد جانبيه فقط. ويقدّم المؤلفون تبريرًا هندسيًا: فمثل هذه الأزواج تحدّ من التباعد بين حدود قرار المعلّم وحدود قرار الطالب.

ليس كل تعديل للسياق صالحًا. لذلك أدخل العمل مقياس Context Following Difficulty (CFD). يفحص هذا المقياس الأمثلة المضادة للواقع قبل بدء التقطير وفق معيارين: هل تتطابق إجابة المعلّم مع الإجابة البديلة المقصودة، وهل تعتمد على السياق المعدَّل. ولا تدخل التدريب إلا الأزواج التي اجتازت الفحص.

ما هو معروف من وصف العمل:

• الطريقة: تقطير بقليل من الأمثلة (few-shot) على أزواج «واقعة — واقعة مضادة» منتقاة بمقياس CFD.
• المهمة: open-book QA التوليدي.
• النماذج: عائلتا T5 وQwen2.5.
• المعايير: خمسة in-domain وثلاثة out-of-domain.
• أفضل نتيجة مذكورة: TriviaQA، T5، 32 زوجًا، بزيادة 8,77 في متوسط EM و9,98 في متوسط F1 عن خط الأساس.
• شروط المقارنة: ميزانية few-shot متساوية، ويستخدم خط الأساس الأمثلة الواقعية فقط.

ماذا يعني ذلك عمليًا

لفريق يضغط نموذجًا لاستخدامه في RAG أو في البحث الداخلي ضمن المستندات، يقدّم هذا العمل استنتاجين عمليين. أولًا، لا ينبغي اختيار أكثر الأمثلة إثارة للجدل لعيّنة صغيرة لمجرد أنها «صعبة»؛ فبحسب بيانات المؤلفين قد يضرّ ذلك بالنتيجة. ثانيًا، يبدو توليد الأمثلة المضادة للواقع طريقة رخيصة لاستخلاص مزيد من الفائدة من العدد نفسه من العيّنات. يكفي تعديل السياق ومراقبة ما إذا كان المعلّم يغيّر إجابته. ويمكن إعادة تنفيذ مرشّح مثل CFD كخطوة مستقلة لمراقبة الجودة.

ويلزم الحذر أيضًا. فالوصف لا يوضح كيف تعمل الطريقة مع نماذج معلّم مغلقة، ولا خارج نطاق QA المستند إلى سياق. ورقم +8,77 EM يخص مجموعة بيانات واحدة وإعدادًا واحدًا هو T5 مع 32 زوجًا. أما نتائج Qwen2.5 ونتائج out-of-domain فلم تُكشف في نص الملخص. وقبل إدخال هذا النهج في خط إنتاج فعلي (production pipeline)، من الأفضل انتظار الشيفرة البرمجية والجداول الكاملة وعمليات إعادة إنتاج مستقلة للنتائج.