ELR تعلّم نموذجًا واحدًا أن يدور في حلقة: Koi-4B يحقق 18 و29 نقطة

اقترح مؤلفو ورقة بحثية منشورة على arXiv طريقة Elastic Latent Recurrence (ELR)، وهي وصفة لتدريب نماذج اللغة المتكررة التي لا تتخلف عند تمرير واحد عن النماذج العادية. على نموذج dense بحجم 4B يقل أداء ELR بتمرير واحد بمقدار 0,52 نقطة عن خط أساس مماثل، بحسب متوسط عشر مهام، وعلى النموذج الهجين MoE بحجم 30B-A3B يتفوق عليه بمقدار 1,04 نقطة. وتضيف أربعة تمريرات 7,25 و4,75 نقطة على التوالي. وأسفر ما بعد التدريب عن Koi-4B: نحو 18 نقطة على Artificial Analysis Intelligence Index بتمرير واحد، أي بمستوى Qwen3.5-4B، و29 نقطة بأربعة تمريرات.

ضريبة التمرير الواحد

يطبّق النموذج الكامن المتكرر كتلة الطبقات نفسها عدة مرات متتالية. وبذلك يصبح عدد التكرارات أداة ضبط: إن أردت السرعة فاختر دورة واحدة، وإن أردت دقة أعلى فزد عدد الدورات. وتخدم نقطة تدريب واحدة الطلبات الرخيصة والمعقدة معًا. هذا مريح من الناحية النظرية. أما عمليًا فتكون هذه النماذج عند تمرير واحد أضعف بوضوح من نموذج عادي بالحجم نفسه. ويسمي المؤلفون ذلك «ضريبة التمرير الواحد». وما دامت هذه الضريبة قائمة، فمن الأجدى عند صرامة متطلبات زمن الاستجابة اعتماد نموذج منفصل غير متكرر، وتفقد فكرة نقطة التدريب الواحدة المرنة معناها.

تستهدف ELR هذه الضريبة تحديدًا. فعند تمرير واحد يكلّف النموذج في التشغيل ما يكلّفه نموذج عادي، ويبلغ دقة مماثلة عند التدريب على البيانات نفسها. وتشتري كل دورة تالية دقة إضافية مقابل حوسبة استدلال إضافية.

ثلاثة قرارات وعدة حيل هندسية

تقوم الوصفة العملية على ثلاثة قرارات. الأول: تحديث للحالة بآلية بوابة (gate) وحجم خطوة قابل للتعلّم. الثاني: يُمزج عدد الدورات داخل كل خطوة من خطوات المُحسِّن بدل تثبيته طوال التشغيل التدريبي. الثالث: يتلقى كل تمرير شرطًا على شكل فهرس الدورة والميزانية الإجمالية. القراران الأولان يحافظان على الجودة عند دورة واحدة، والثالث يخفض الـ loss في كل دورة إضافية.

وتناول المؤلفون كلفة التدريب بصورة منفصلة. فيمكن تفعيل العمق المختلط في مرحلة متأخرة من التدريب المسبق. وإذا أُضيف عند التبديل شرط بتهيئة صفرية، يبلغ هذا الجدول المتأخر loss أقل مما يبلغه التدريب المختلط من الصفر. وفي نماذج MoE تقلّص إعادة استخدام مسارات الخبراء من الدورة الأولى في الدورات اللاحقة زمن التحديث المختلط بنسبة 11,7% دون خسارة قابلة للقياس في الدقة. وفي الاستدلال، يُبقي تخزين KV-cache للانتباه من الدورة الأخيرة فقط استهلاك الذاكرة عند مستوى تمرير واحد، ويحافظ على معظم المكسب الناتج عن الدورات الإضافية.

الأرقام

• 4B dense: −0,52 نقطة عن خط الأساس بدورة واحدة، و+7,25 بأربع دورات.
• 30B-A3B MoE (هجين): +1,04 نقطة بدورة واحدة، و+4,75 بأربع دورات.
• MoE، إعادة استخدام مسارات الدورة الأولى: −11,7% من زمن التحديث المختلط.
• KV-cache للدورة الأخيرة: ذاكرة الانتباه كما في تمرير واحد.
• Koi-4B: نحو 18 على Artificial Analysis Intelligence Index بدورة واحدة (تقديري) و29 بأربع دورات.

أين يفيد ذلك

يتصل الأثر العملي الأهم بخدمة النماذج (serving). فاليوم تحتفظ الفرق التي تحتاج إلى استجابة سريعة واستدلال عميق معًا بنموذجين، أو بموجّه (router) بين أحجام مختلفة. أما مع نموذج شبيه بـ ELR فتكفي مجموعة أوزان واحدة: الدردشة والإكمال التلقائي على دورة واحدة، والمهام المعقدة على أربع دورات. وهذا يعني عددًا أقل من نقاط التدريب المختلفة في الذاكرة ونشرًا أبسط. ويُظهر ارتفاع Koi-4B من 18 إلى 29 على AA Index أن نموذجًا صغيرًا يملك هامشًا في عدد الدورات يمكنه أن يقترب من فئات أثقل.

وهناك قيود أيضًا. فالدورات الإضافية تكلّف حوسبة، والقياسات أجراها المؤلفون أنفسهم على بنيتين ومؤشر تقييم واحد. ولا توجد حتى الآن اختبارات مستقلة على أحمال عمل حقيقية، وليس واضحًا إلى أي مدى تتوسع الوصفة بما يتجاوز 30B. لكن من يختار بين السرعة والجودة على عتاد محلي أو في سحابة مكلفة، فالأجدر به إبقاء هذا النهج على الرادار، لأنه يزيل الحجة الرئيسية ضد النماذج المتكررة.