ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارTG: @dealerAI (Dealer.AI)→ المصدر

خطأ التقريب في softmax فسّر ظاهرة «الغروكينغ»: بعد إصلاحه اختفى التعميم المفاجئ

تحوّل softmax مخرجات النموذج إلى احتمالات، وقد اكتُشف فيه خطآن في التقريب داخل PyTorch وJAX وTensorFlow. عندما يبلغ النموذج يقينًا يقارب 100%، يتحول تدرّج الإجابة الصحيحة إلى صفر، بينما يبقى التدرّج غير صفري للإجابات الخاطئة، فيختل التوازن. وفي التقطير يظل الطالب، حتى بعد أن يطابق المعلّم تمامًا، يتلقى تدرّجًا غير صفري. وبعد الإصلاح اختفى الغروكينغ، أي التعميم المفاجئ بعد فرط التلاؤم، أما في التدريب المسبق المعتاد للنماذج اللغوية الكبيرة فلن يتغير شيء تقريبًا.

معالج بواسطة الذكاء الاصطناعي من TG: @dealerAI (Dealer.AI)؛ بتحرير Hamidun News
خطأ التقريب في softmax فسّر ظاهرة «الغروكينغ»: بعد إصلاحه اختفى التعميم المفاجئ
المصدر: TG: @dealerAI (Dealer.AI). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTG: @dealerAI (Dealer.AI) ↗
رئيس التحرير
حقيقة رئيسية #1عتبة الدقة (precision cliff) في bf16 تبلغ نحو 5,5، ويُبلَغ هذا الحد بسرعة
حقيقة رئيسية #2مازح بارون بأن القيمة الافتراضية eps=1e-8 في Adam تقع تمامًا على حافة الدقة في fp32
حقيقة رئيسية #3في نحو 90% من التدريب القياسي يكاد الأثر ينعدم، والمكسب الرئيسي يكمن في التقطير

يوجد softmax وcross-entropy في كل حلقة تدريب تقريبًا: يحوّل softmax المخرجات «الخام» للنموذج (اللوجيتات) إلى احتمالات، ويقيس cross-entropy مقدار خطأ النموذج. ومن هذا الخطأ يُستخرج التدرّج، وهو إشارة تحدد الاتجاه الذي ينبغي أن تتحرك فيه الأوزان. وفي 22 أكتوبر صدرت ورقة بحثية تزعم أن التنفيذات القياسية لهاتين الدالتين في جميع الأطر الشائعة (PyTorch وJAX وTensorFlow) تحتوي على خطأين عدديين. وقد أثارت الورقة اهتمامًا وجدلًا، كما شكّكت في إحدى الظواهر الشهيرة في تدريب الشبكات العصبية، وهي الغروكينغ.

ما الخطآن اللذان اكتُشفا

سُمّي الخطأ الأول Softmax Collapse. تخيّل مصنِّفًا أصبح شديد الثقة بنفسه، فيعطي الإجابة الصحيحة احتمالًا يقارب 100%. وفي الأعداد ذات الدقة المحدودة تُقرَّب هذه القيمة، تقريبًا، إلى الواحد. والنتيجة أن تدرّج الإجابة الصحيحة يصبح صفرًا تمامًا، بينما يبقى للخيارات الخاطئة تدرّج صغير لكنه غير صفري. وفي الحالة السليمة يكون مجموع هذه التدرّجات صفرًا، كما تتوازن كفتا ميزان. أما هنا فقد «انعدمت» إحدى الكفتين دون الأخرى، فاختل التوازن، وتلقّى التدريب إشارة مائلة.

أما الخطأ الثاني، Softmax Cancellation، فيظهر في التقطير، حين يتعلم نموذج صغير هو الطالب محاكاة نموذج كبير هو المعلّم. فعندما تقترب لوجيتات الطالب من لوجيتات المعلّم، يُفترض أن يصبح الخطأ صفرًا. لكن بسبب عدم الدقة العددية يبقى التدرّج غير صفري حتى عند التطابق التام. فيبدأ الطالب بالتكيّف مع مقياس توزيع المعلّم (تضميناته أو احتمالاته) رغم أنه لم يعد هناك ما يستدعي التكيّف. يشبه ذلك شخصًا مهووسًا بالكمال يواصل «تعديل» عمل أنجزه فعلًا فيفسده.

ما الذي حدث للغروكينغ

أبرز النتائج تتعلق بالغروكينغ. يُطلق هذا الاسم على الحالة التي يحفظ فيها النموذج أمثلة التدريب طويلًا، ثم يبدأ فجأة بالتعميم. وكانت القفزات الحادة في الخسارة (loss) عند تلك اللحظة، المعروفة بـ«سبايكات المقلاع» (slingshot spikes)، تُعدّ سمة لازمة لهذا النمط. وبعد الإصلاح، تتوقف النماذج التي كانت «تُظهر الغروكينغ» عن ذلك. أي إن سبايكات المقلاع تبيّن أنها نتاج خطأ في softmax، لا انتقالًا طوريًا سحريًا.

والصورة بلا الخطأ أقل إثارة. فإما أن يتسارع الغروكينغ مع weight decay (عقوبة على الأوزان الكبيرة جدًا)، وإما ألّا تنخفض الدقة أصلًا عند غياب weight decay. وقد مازح بارون، مؤلف الورقة، بأن القيمة الافتراضية eps=1e-8 في المحسِّن Adam تقع بالضبط على «حافة» دقة fp32 حيث يُفعَّل الخطأ.

لمن يهم هذا ولمن لا يهم

يكتب بارون نفسه في الورقة أن الهوامش القصوى من الثقة، والفروق شبه المعدومة بين الطالب والمعلّم التي اختُبرت في التجارب، لا تظهر كثيرًا في التدريب الكبير المعتاد. فالنماذج اللغوية الكبيرة تتعلم في التدريب المسبق التنبؤ بالرمز التالي، والتوزيع هناك بعيد عن «أنا واثق بنسبة 99,999%»، ولذلك نادرًا ما تبلغ اللوجيتات حد fp32. وفي نحو 90% من التدريب القياسي لن يتغير شيء تقريبًا.

ويُتوقع أثر حقيقي في أربعة سيناريوهات:

  • التقطير. كان الطالب، عند اقترابه من المعلّم، يتلقى تدرّجات كاذبة غير صفرية فينحرف دون سبب. والإصلاح يزيل ذلك. وبالنسبة إلى خطوط التقطير الإنتاجية، وهي كثيرة في الصناعة، فهذا تحسين خالص.
  • التدريب بصيغة bf16. عتبة الدقة (precision cliff) في bf16 لا تتجاوز نحو 5,5، ويُبلَغ هذا الحد بسرعة كبيرة. وتُدرَّب اليوم في bf16 معظم النماذج تقريبًا، ولذلك قد يُفعَّل الخطأ باستمرار. وهنا يحقق الإصلاح أكبر مكسب في الاستقرار.
  • الضبط الدقيق وRLHF. عند الضبط الدقيق لمهمة محددة يصبح النموذج شديد الثقة. وفي RLHF مع PPO أو GRPO، حيث يولّد النموذج إجابات ويتلقى تقييمًا، قد يشوّه الخطأ التدرّجات في المراحل المتأخرة.
  • مجموعات البيانات الصغيرة مع weight decay. وهذا هو نمط الغروكينغ الكلاسيكي في المهام «التجريبية البسيطة». يزيل الإصلاح سبايكات المقلاع ويسرّع التقارب، لكن مثل هذه السيناريوهات نادرة جدًا في الصناعة.

ما لا ينبغي انتظاره

لن يجعل الإصلاح GPT-6 أو Claude أو Gemini أفضل بشكل ملحوظ: فتدريبها المسبق لن ينكسر بسببه ولن يصبح أقوى بأضعاف. كما أنه لا يغيّر سرعة التدريب أو الاستدلال. فهو ليس آلية انتباه جديدة ولا دالة تنشيط جديدة، بل تصحيح عددي.

والخلاصة العملية كالتالي. إذا كنت تقطّر النماذج، أو تدرّب بصيغة bf16، أو تشغّل المراحل المتأخرة من RLHF، فيجدر بك مقارنة منحنيات الخسارة لديك بين التنفيذ القياسي والتنفيذ المصحَّح. أما إذا كنت تجري تدريبًا مسبقًا معتادًا، فلا داعي للذعر. وعند قراءة الأبحاث عن الغروكينغ، ضع في اعتبارك أن بعض الظواهر ربما فُسّرت بالتقريب لا بخصائص الشبكة.

تنبيه: هذا عرض لورقة بحثية استنادًا إلى منشور في قناة على تلغرام، وليس تحليلًا كاملًا للدراسة. وما زال المؤلفون أنفسهم هم من يقدّرون حجم الأثر على خطوط التدريب الكبيرة الفعلية، بينما يتواصل الجدل في المجتمع. والمصدر الأصلي هو الورقة المنشورة مسبقًا على arXiv، ورابطها وارد في المنشور الأصلي.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الخطآن اللذان اكتُشفا؟

سُمّي الخطأ الأول Softmax Collapse. تخيّل مصنِّفًا أصبح شديد الثقة بنفسه، فيعطي الإجابة الصحيحة احتمالًا يقارب 100%. وفي الأعداد ذات الدقة المحدودة تُقرَّب هذه القيمة، تقريبًا، إلى الواحد. والنتيجة أن تدرّج الإجابة الصحيحة يصبح صفرًا تمامًا، بينما يبقى للخيارات الخاطئة تدرّج صغير لكنه غير صفري. وفي الحالة السليمة يكون مجموع هذه التدرّجات صفرًا، كما تتوازن كفتا ميزان. أما هنا فقد «انعدمت» إحدى الكفتين دون الأخرى، فاختل التوازن، وتلقّى التدريب إشارة مائلة.

ما أبرز التفاصيل حول ما الذي حدث للغروكينغ؟

أبرز النتائج تتعلق بالغروكينغ. يُطلق هذا الاسم على الحالة التي يحفظ فيها النموذج أمثلة التدريب طويلًا، ثم يبدأ فجأة بالتعميم. وكانت القفزات الحادة في الخسارة (loss) عند تلك اللحظة، المعروفة بـ«سبايكات المقلاع» (slingshot spikes)، تُعدّ سمة لازمة لهذا النمط. وبعد الإصلاح، تتوقف النماذج التي كانت «تُظهر الغروكينغ» عن ذلك. أي إن سبايكات المقلاع تبيّن أنها نتاج خطأ في softmax، لا انتقالًا طوريًا سحريًا. والصورة بلا الخطأ أقل إثارة.

ما أبرز التفاصيل حول لمن يهم هذا ولمن لا يهم؟

يكتب بارون نفسه في الورقة أن الهوامش القصوى من الثقة، والفروق شبه المعدومة بين الطالب والمعلّم التي اختُبرت في التجارب، لا تظهر كثيرًا في التدريب الكبير المعتاد. فالنماذج اللغوية الكبيرة تتعلم في التدريب المسبق التنبؤ بالرمز التالي، والتوزيع هناك بعيد عن «أنا واثق بنسبة 99,999%»، ولذلك نادرًا ما تبلغ اللوجيتات حد fp32. وفي نحو 90% من التدريب القياسي لن يتغير شيء تقريبًا. ويُتوقع أثر حقيقي في أربعة سيناريوهات: التقطير. كان الطالب، عند اقترابه من المعلّم، يتلقى تدرّجات كاذبة غير صفرية فينحرف دون سبب.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…