التدريب الهجين لنماذج VLA: جودة التعلم المعزز عبر الإنترنت بنصف الموارد الحاسوبية

في يوليو 2026 ظهر على arXiv بحث أولي (arXiv:2607.19399) يقترح الجمع بين التعلم المعزز غير المتصل (offline) والمتصل (online) لنماذج الرؤية واللغة والفعل (VLA) الكبيرة، والحصول على جودة التعلم المعزز الخالص عبر الإنترنت بنحو نصف الميزانية الحاسوبية.

لماذا يكلّف التعلم المعزز عبر الإنترنت أكثر لكنه أفضل

ينطلق المؤلفون من ملاحظة مفادها أن التعلم المعزز عبر الإنترنت (online RL) يُنتج باستمرار استراتيجيات أقوى من أساليب offline. ويتسع الفارق خصوصًا على البيانات الواقعة خارج توزيع التدريب (out-of-distribution, OOD): ففي المشاهد غير المألوفة يتعيّن على النموذج أن يتصرف في مواقف لم تتضمن بيانات تدريبه أمثلة مشابهة لها.

أما النماذج المدرَّبة بالمحاكاة فقط (imitation learning) أو عبر الضبط الدقيق الخاضع للإشراف (supervised fine-tuning, SFT)، فكثيرًا ما «تتخبّط» في مشاهد OOD هذه: فهي تُجيد تكرار ما رأته، لكنها تعمّم بضعف على ما هو جديد. وتتنبأ نماذج VLA نفسها بالفعل انطلاقًا من الصورة والتعليمات النصية، وهذا ما يميّزها عن النماذج اللغوية التقليدية. في المقابل، يتعلم online RL من أفعاله ونتائجها، ولذلك يبقى أكثر ثباتًا.

ويشير المؤلفون إلى دراسة حديثة قدّمت معيارًا مرجعيًا موجّهًا نحو OOD، وبيّنت أن سياسات VLA المدرَّبة عبر RL أفضل بوضوح في OOD، وأفضل قليلًا ضمن التوزيع نفسه (in-distribution)، من النماذج نفسها بعد SFT. وثمن هذه الميزة هو التفاعل المكلف عبر الإنترنت وميزانية التدريب الكبيرة.

ماذا اقترح المؤلفون بالتحديد

يختبر الباحثون إمكانية الجمع بين مزايا النهجين في مخطط هجين offline-online. والفكرة هي تنظيم online RL بإشراف offline، حتى لا تضيع المتانة، ومن دون دفع الكلفة الكاملة للتدريب عبر الإنترنت.

ويُدخل المؤلفون هذا الإشراف بطريقتين: إما مباشرة عبر بيانات offline، وإما عبر سياسة مرجعية (reference policy) دُرّبت بأسلوب offline وتمنع RL من الانحراف أثناء التدريب. وتعمل السياسة المرجعية كمرساة ناعمة: يحسّن RL الاستراتيجية بحرية، لكن إشراف offline لا يتركها تنجرف نحو حلول غير مستقرة.

• البحث الأولي: arXiv:2607.19399، نُشر في يوليو 2026
• الموضوع: نماذج الرؤية واللغة والفعل (VLA) واسعة النطاق التي تحوّل الرؤية واللغة إلى أفعال
• الطريقة: online RL منظَّم ببيانات offline أو بسياسة مرجعية دُرّبت بأسلوب offline
• المقارنة: مع التدريب الخالص بأسلوب offline ومع RL القياسي على معيار OOD
• النتيجة: جودة قريبة من RL القياسي بنحو نصف ميزانية التدريب

اختُبرت جميع الصيغ على معيار OOD نفسه، وقورنت بحدّين متطرفين: التدريب بأسلوب offline فقط، وonline RL القياسي.

كم يوفّر النهج الهجين؟

يبلغ النهج الهجين جودة قريبة من RL القياسي مع إنفاق نحو نصف ميزانية التدريب، وهذه هي النتيجة الرئيسية للدراسة. وعمليًا يعني ذلك إمكانية الوصول إلى المستوى نفسه بنصف الكلفة الحاسوبية، أو تدريب نموذج أقوى بالميزانية نفسها. وفي الوقت ذاته تبقى المتانة القوية في OOD محفوظة، ولا تُضحّى بها مقابل السرعة.

أما التدريب بأسلوب offline وحده فيوفّر، بحسب المؤلفين، جودة OOD محدودة فقط. لكن بمجرد دمج إشراف offline داخل RL، تبقى المتانة في المواقف غير المعتادة عالية، ويصبح التدريب أكثر كفاءة بنحو الضعف. وهناك نقطة مهمة: ليست هذه مقايضة من نوع «أسرع لكن أسوأ» — فمكسب السرعة لا يأتي على حساب الجودة.

«بدلًا من المقايضة بين السرعة وجودة OOD، يحافظ النهج الهجين على متانة

قوية خارج التوزيع ويحقق في الوقت نفسه مكسبًا في الكفاءة»، بحسب ملخص الدراسة على arXiv.

ماذا يعني ذلك

يُعدّ تدريب نماذج VLA الكبيرة من أكثر اتجاهات الذكاء الاصطناعي الروبوتي استهلاكًا للموارد، وتحقيق الدقة نفسها بنصف الميزانية يعني توفيرًا ملموسًا للمختبرات والفرق التي تدرّب وكلاء الأفعال. والحديث هنا عن نماذج للروبوتات والوكلاء الذين يعملون في بيئة مادية أو برمجية، حيث يستحيل جمع بيانات مسبقة لكل الحالات، ولذلك تكتسب المتانة أمام OOD قيمة خاصة. ويزيل هذا النهج الاختيار بين الموثوقية في السيناريوهات غير المعتادة وسرعة التدريب، وبالتالي يجعل online RL أكثر عملية للمهام الواقعية.