LASAGNA تختبر 450 تهيئة لـ RAG: تحسين موعود بنسبة +47% لم يتحقق منه سوى +17%

تضرب ورقة بحثية جديدة بعنوان Retrieval Augmented Generation Compositionality الطريقة المعتادة في المقارنة بين تقنيات RAG. أصدر المؤلفون إطار LASAGNA المفتوح المصدر للتقييم المضبوط، واختبروا من خلاله 450 تهيئة على ثمانية اختبارات معيارية، بمجموعات نصية يتراوح حجمها بين 5 آلاف و200 ألف وثيقة. وأكثر النتائج دلالة أن ثلاث تقنيات للاسترجاع (retrieval) توقعت، كلٌّ على حدة، تحسنًا إجماليًا بنسبة +47%، لكن عند جمعها في خط معالجة واحد لم يتحقق سوى +17%.

لماذا تضخّم القياسات المعزولة التوقعات

لم يعد RAG الحديث مجرد «تضمينات (embeddings) زائد بحث متجهي». ففي خط المعالجة النموذجي توجد نماذج embedding، وتقسيم النصوص (chunking)، والاسترجاع (retrieval)، وإعادة الترتيب (reranking)، وتوسيع الاستعلام، وضغط السياق، والتحقق الوكيلي من الإجابة. وعادةً ما تُشرح كل واحدة من هذه المكونات في ورقة مستقلة وتُختبر في سياقها الخاص، بتغيير مكوّن واحد مع تثبيت بقية العوامل.

طرح مؤلفو LASAGNA سؤالًا: هل تصمد هذه المكاسب عند دمج المكونات معًا؟ جاء الجواب غير مريح. فالتقنيات القوية الثلاث، وهي من مراحل مختلفة في خط المعالجة، لا تتراكم حسابيًا: تحوّل الرقم المتوقع +47% إلى +17%. ومن المنطقي افتراض أن بعض التقنيات تعالج مشكلات متداخلة، وأن الأسلوب الثاني يلتقط ببساطة ما أصلحه الأول من قبل. لكن الأهم هنا ليس التفسير، بل الفجوة نفسها التي تقارب ثلاثة أضعاف.

وتستحق المنهجية وقفة منفصلة. فقد أعلن المؤلفون الفرضيات الثلاث مسبقًا، قبل تشغيل التجارب. وفي مجال كثيرًا ما تُكيَّف فيه الاستنتاجات لتلائم التشغيلات الناجحة، يمثل ذلك نقطة ثقة إضافية واضحة.

البحث وأمانة الإجابة يسيران في اتجاهين مختلفين

يتعلق الاستنتاج الثاني بالمقاييس نفسها. فمكاسب المكونات تتراكم بشكل مختلف بالنسبة إلى جودة الاسترجاع (retrieval) وبالنسبة إلى faithfulness، أي مدى التزام الإجابة بالمصادر التي عُثر عليها. وقد يؤدي تحسين أحد المؤشرين إلى تدهور الآخر.

عمليًا، يعني ذلك أن الفريق الذي يرفع recall ويراقب جودة نتائج البحث فقط يخاطر بخسارة غير ملحوظة في موثوقية الإجابات النهائية. وهذه الموثوقية بالذات هي سبب اعتماد RAG أصلًا: أن يستند النموذج إلى معرفة خارجية بدلًا من اختلاق الإجابات.

الفائز على 5K ليس بالضرورة فائزًا على 200K

يتعلق الاكتشاف الثالث بالحجم. فالتركيبة الأفضل تتغير مع نمو المجموعة النصية: قد تتراجع التركيبة التي فازت على مجموعة صغيرة من الوثائق حين تُطبَّق على مجموعة كبيرة. وتُجرى كثير من التجارب الأكاديمية والداخلية على عينات صغيرة تحديدًا لأن ذلك سريع وغير مكلف، ثم تُنقل الاستنتاجات إلى بيئة الإنتاج حيث عدد الوثائق أكبر بعدة مراتب.

ما الذي ثبّتته الدراسة:

• الإطار: LASAGNA، مفتوح المصدر • عدد التهيئات المختبرة: 450 • عدد الاختبارات المعيارية: 8 • حجم المجموعات النصية: من 5K إلى 200K وثيقة • عدد الفرضيات المعلنة مسبقًا: 3 • الفجوة الرئيسية: +47% متوقعة مقابل +17% فعلية لثلاث تقنيات استرجاع

كيف تعيد بناء تقييم RAG لديك

الخلاصة العملية للمهندسين مباشرة: لا تجمعوا المكاسب المذكورة في الأوراق البحثية، ولا تفترضوا أن ثلاث أفكار جيدة ستعطي مجموع ثلاثة تحسينات. يجب اختبار التقنية الجديدة داخل المنظومة الكاملة التي تعمل لديكم فعليًا، ومقارنتها بالتهيئة الحالية ككل.

ثانيًا: قيسوا retrieval وfaithfulness بشكل منفصل، وراقبوا المؤشرين في وقت واحد. فإذا رافق تحسنَ البحث تراجعٌ في الأمانة للمصادر، فهذا سبب للتوقف لا للاحتفال.

ثالثًا: اختبروا على مجموعة نصية قريبة من الحجم الفعلي في بيئة الإنتاج. فالنتائج على 5 آلاف وثيقة لا تتنبأ جيدًا بالسلوك على 200 ألف، وهذا يعني أن اختيار البنية المعمارية بالاستناد إلى اختبار معياري صغير قد يكون خطأً.

يدعو المؤلفون الباحثين إلى تقييم أساليب RAG الجديدة في بيئة كاملة، ويقترحون LASAGNA لتقليل الجهد اللازم لمثل هذه التجارب. وتمثل الدراسة للقطاع فرصة لإعادة النظر في الأرقام التي تستند إليها قرارات بنية خطوط البحث والاسترجاع.