decision-cascade يعلّم النموذج المحلي حساب كلفة الخطأ قبل استدعاء نموذج لغوي خارجي

قصة مألوفة: تبنون نظامًا فيه نموذج محلي صغير ونموذج خارجي كبير. يبدو مخطط التوجيه البسيط هكذا: إذا لم يكن النموذج المحلي واثقًا، نرسل الطلب إلى السحابة. وعادةً ما تُؤخذ العتبة اعتباطًا، لنقل 0.6. وبعد شهر من النشر الأول، طرح مؤلف مشروع decision-cascade على نفسه سؤالًا محرجًا: ولماذا 0.6 بالذات؟

لماذا تُعدّ عتبة الثقة معيارًا سيئًا

ثقة النموذج وفائدة التصعيد شيئان مختلفان. فقد تتردد في إجابة لا يكلّف الخطأ فيها شيئًا، كاختيار أحد خيارين متكافئين، وعندها لا معنى لدفع ثمن استدعاء خارجي. وقد تكون واثقًا بنسبة 0.8 ثم تخطئ في موضع كلفة الخطأ فيه عالية. والعتبة لا تفرّق بين هاتين الحالتين.

لذلك ظهر في المشروع تصعيد واعٍ بالمنفعة (benefit-aware). يقارن المحرّك المنفعة المتوقعة من الإجابة المحلية ومن التصعيد، مع احتساب كلفة الخطأ وكلفة استدعاء النموذج الخارجي. فإذا كانت فائدة التحسين أقل من كلفة الاستدعاء بقي التتالي محليًا، وإذا كانت أكبر خرج إلى الخارج. القرار لا يتخذه نموذج يقيّم صحة نفسه، بل نظام يحسب هل يستحق التحسين أن يُدفع ثمنه.

وهذه لغة واضحة لمدير المنتج: للخطأ ثمن بالمال أو الوقت أو السمعة، ولاستدعاء النموذج اللغوي ثمن أيضًا. فيصبح التصعيد بندًا في الميزانية، لا أثرًا جانبيًا لضبط العتبة.

ماذا أظهرت العروض التجريبية والمعايير القياسية

اختبر المؤلف النهج في لعبتين محليتين لقراراتهما عواقب. في الشطرنج ضد Stockfish، تسدّ 19% من التصعيدات نصف الفجوة نحو وضع «التفكير العميق دائمًا»، وتكلّف 38% من كلفة الحساب الكامل. وفي متاهة على طريقة Pac-Man تحقق السياسة الحذرة 94% من النقاط مع 33% من التصعيدات، أي ضعف الاستراتيجية الجشعة. لا أحد يريد أن يصنع من المحرّك أستاذًا كبيرًا؛ فالمغزى في مكان آخر: اقتصاد التصعيد يعمل حيث يكون للقرار ثمن.

وهناك أيضًا مقارنة منفصلة مع نموذجين «حقيقيين»، Clef-Flash (9.4B) وLaya (421M)، على مجموعات بيانات عامة. الشروط: n=200 ووحدة GPU واحدة بسعة 16 غيغابايت.

• AG News، الدقة: 87.3% لـ decision-cascade (124M)، و85.5% لـ Clef-Flash، و66.2% لـ Laya.
• AG News، زمن الاستجابة الوسيط: 10 ملّي ثانية مقابل 130 ملّي ثانية لـ Clef-Flash و16 ملّي ثانية لـ Laya.
• RouterBench، الدقة: 54.2% مقابل 44.2% لـ Clef-Flash و31.2% لـ Laya.
• RouterBench، زمن الاستجابة الوسيط: 21 ملّي ثانية مقابل 170 ملّي ثانية لـ Clef-Flash.

خلاصة المؤلف: نموذج صغير ذو رؤوس مدرَّبة على مهام اتخاذ القرار يتفوق على منافس بحجم 9B ويعمل أسرع بنحو 10 مرات. أما في التوليد الحر فسيفوز النموذج الكبير، كما يعترف هو نفسه. والسكربت eval/competitors/reproduce_real.sh وملفات JSON الخام متاحة ضمن الإصدارات، فيمكن إعادة التحقق من الأرقام.

التكامل والمحاذير

بالنسبة لمن ينظر إلى المشروع بوصفه اعتمادية، فأهم تغيير هو أن للنسخة 1.x الآن عقدًا مستقرًا. فلن يُكسر تنسيق الحزم ومتغيرات DECISION_* دون إصدار رئيسي (major) ونافذة إهمال. والمشروع متاح على PyPI، والبدء السريع على مشفّر التجزئة (hash-encoder) يستغرق بضع دقائق، دون GPU ودون تنزيل نماذج.

والآن إلى القيود التي يسردها المؤلف بنفسه بصراحة. فالرؤوس عشوائية افتراضيًا، وتتطلب الجودة المعقولة SFT/RLCD أو حزمة أوزان جاهزة. ولا يكون نموذج المخاطرة مفيدًا إلا بعد تراكم الأمثلة. أما معايرة المجال لسيناريوهكم فعليكم القيام بها بأنفسكم. ولا ننسَ حجم القياسات: n=200، والمعايير جمعها المؤلف بنفسه، فهذا ليس تقييمًا مستقلًا.

ماذا نفعل بهذا

حتى لو لم تثبّتوا decision-cascade، فالفكرة تنتقل إلى أي ثنائية «نموذج رخيص ونموذج غالٍ». توقفوا عن التوجيه بالثقة وحدها. ضعوا على الأقل تقديرًا تقريبيًا لكلفة الخطأ حسب أنواع الطلبات وقارنوه بكلفة الاستدعاء. وفي مهام التصنيف واختيار الخيار والتقييم قد يخفّض ذلك نفقات واجهة API الخارجية كثيرًا مع خسارة طفيفة في الجودة. ومن خطط المشروع مشفّر-محوّل (encoder-transformer) مع قناع انتباه للحالات (attention-mask) وتكامل عميق مع وكلاء الدردشة. ويطلب المؤلف إرسال الحالات التي يصعّد فيها التتالي في المكان الخطأ، وهذه أنفع طريقة لاختبار النهج عمليًا.