التدريب القبلي-القبلي الاصطناعي لنماذج LLM لا يبرر تكلفته: عند تساوي FLOPs يتفوق عليه النص العادي

تبدو الفكرة جذابة: قبل إطعام نموذج لغوي تيرابايتات من بيانات الإنترنت، امنحه «إحماء» على بنية خالصة. آلات خلوية، ولغات ذات أقواس متداخلة بصورة صحيحة، وتسلسلات مولدة إجرائيا. والافتراض هو أن النموذج سيتعلم مسبقا أنماطا مفيدة، ثم يستوعب اللغة الحقيقية بسرعة أكبر. ويعرف هذا بالتدريب القبلي-القبلي الاصطناعي، أو PPT.

تختبر الدراسة الجديدة Rethinking Pre-Pretraining، التي أعدها Alexander Stern وTim Rocktäschel وAkir Lokatelli وLaura Ruis، هذه الفكرة من دون مجاملة. وتبين أن الفرضية الأنيقة لا تصمد أمام المحاسبة الدقيقة.

أين تكمن المشكلة؟

قارنت معظم الدراسات السابقة عن PPT بين النماذج من دون مراعاة مقدار الحوسبة المستهلك في المرحلة الاصطناعية. أما المؤلفون فثبتوا الميزانية الإجمالية من FLOPs: إذا أنفق جزء منها على البيانات الاصطناعية، يتبقى مقدار أقل للنص الطبيعي. وفي هذا الإعداد، لم يتفوق PPT ولو مرة واحدة على التدريب باستخدام اللغة الطبيعية وحدها.

لنأخذ مثالا رقميا. مع 100M توكن من FineWeb وميزانية قدرها 1 × 10¹⁸ FLOPs، يحقق التدريب التقليدي مع تكرار النص 1.064 بت لكل بايت (BPB) في التحقق، وكلما انخفضت القيمة كان ذلك أفضل. وعند تخصيص ما بين 1% و10% من العمليات الحوسبية لـPPT، تتدهور القيمة إلى 1.068–1.076. الفارق صغير، لكن اتجاهه واضح تماما: دفعت تكلفة حوسبية وحصلت على نتيجة أسوأ.

التفسير بسيط. عندما ينتقل النموذج إلى اللغة الطبيعية، تعيد التدرجات بسرعة كتابة البنى التي تعلمها من البيانات الاصطناعية. يشبه ذلك حفظ افتتاحيات الشطرنج ثم قضاء ستة أشهر في لعب الداما.

من أين جاءت النجاحات السابقة؟

الجزء الأكثر إثارة للاهتمام في الدراسة هو تحليل سبب ظهور PPT كأنه مفيد أصلا. أعاد المؤلفون تنفيذ تجربة تستخدم الآلات الخلوية العصبية (NCA) على نموذج LLaMA يضم 400M معلمة ومدرب على OpenWebText. وبلغ مكسب NCA PPT في مقياس الحيرة 5,4%.

لكن عند تغيير تهيئة التضمينات من 𝒩(0, 1) إلى 𝒩(0, 0.02)، وهي التهيئة القياسية لمثل هذه النماذج، تحسن خط الأساس من دون أي PPT بنسبة 9,0%. وهذا يمحو بالكامل فائدة البيانات الاصطناعية. وبذلك يبدو أن PPT كان يصلح إلى حد كبير تهيئة سيئة، لا أنه يضيف معرفة إلى النموذج.

واقترح المؤلفون أيضا DeclRef، وهو متن اصطناعي للبحث عن قيم المتغيرات، وأداة LLMTuna، وهي محسن للمعلمات الفائقة قائم على LLM. كود المشروعين مفتوح المصدر على GitHub.

القيود

ينبغي قراءة النتائج مع بعض التحفظات. فجميع النماذج أصغر من 1B معلمة، ولا يعرف ما إذا كان PPT سيتصرف بالطريقة نفسها عند نطاق عشرات المليارات من المعلمات. كما أجري اختبار تهيئة LLaMA وتجارب خلط البيانات من دون إعادة ضبط المعلمات الفائقة، ولذلك قد تتغير بعض النتائج بعد الضبط الدقيق.

ويجدر التأكيد بصورة منفصلة أن هذه نتيجة سلبية تخص فئة محددة من الأساليب. وهي لا تنفي فائدة البيانات الاصطناعية بوجه عام، مثل استخدامها في مواصلة التدريب على البرمجة أو الرياضيات.

ماذا تفعل عمليا؟

إذا كنت تدرب نماذجك الخاصة، وخصوصا النماذج الصغيرة، فالاستنتاجات هي:

• لا تضف مرحلة PPT اصطناعية إلى خط التدريب «للاحتياط». فهي تستهلك موارد حوسبية، ووفقا للبيانات لا تعوض تكلفتها.
• قبل تصديق مكسب لافت ناتج عن حيلة جديدة، تحقق من الأساسيات: التهيئة، وlearning rate، وscheduler. فمن السهل أن يصنع خط أساس ضعيف وهما بوجود تقدم.
• قارن الأساليب عند تساوي ميزانية FLOPs، لا عند تساوي عدد الخطوات أو توكنات النص الطبيعي.

الدرس الرئيسي أوسع من الموضوع نفسه: كثير من «التحسينات» في ML تعالج في الواقع خط أساس سيئ الضبط. وإذا لم تكن لديك مجموعة ضابطة قوية بميزانية عادلة، فأنت على الأرجح لا تقيس الأسلوب، بل تقيس أوجه القصور في إعدادك.