ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارTG: @gonzo_ML (gonzo-обзоры ML статей)→ المصدر

اكتشاف خلل في التقريب داخل softmax وcross-entropy: دقة 85% بدلًا من 23%

تدخل softmax وcross-entropy في كل مصنِّف وكل LLM، وقد عُثر فيهما على خلل في التقريب. حين يكون النموذج واثقًا للغاية، يُقرَّب احتمال الإجابة الصحيحة إلى 100%، فيُحتسب الخطأ صفرًا، ويتوقف التعلّم على هذا المثال. وبعد التصحيح، بلغت الدقة على الاختبار في مهمة a² + b² mod 97 نسبة 85%، بينما انخفضت دقة الدالة القياسية من 61% إلى 23%. وإذا كنتم تدرّبون النموذج بصيغة bf16، فمن المفيد اختبار استبدال دالة الخسارة هذه.

معالج بواسطة الذكاء الاصطناعي من TG: @gonzo_ML (gonzo-обзоры ML статей)؛ بتحرير Hamidun News
اكتشاف خلل في التقريب داخل softmax وcross-entropy: دقة 85% بدلًا من 23%
المصدر: TG: @gonzo_ML (gonzo-обзоры ML статей). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
رئيس التحرير
الخلل الثانيفي التقطير (distillation) يتطابق الطالب مع المعلّم، ومع ذلك لا يكون التدرّج صفرًا
في مهمة الجمع a + b mod 31دقة 98,9–100% مقابل 93,3–100% للدالة المعتادة
حقيقة رئيسية #3أُجريت الاختبارات على مهام صغيرة من الحساب المقياسي (modular arithmetic) فقط، وليس على LLM كبيرة

تُعدّ softmax وcross-entropy من أكثر دوال التعلّم العميق استخدامًا وتداولًا. تحوّل softmax الدرجات الخام التي يعطيها النموذج لكل خيار من خيارات الإجابة (وتُسمّى logits) إلى احتمالات، بينما تقارن cross-entropy هذه الاحتمالات بالإجابة الصحيحة وتُخرج رقمًا يبيّن مقدار خطأ النموذج. يُسمّى هذا الرقم الخسارة (loss)، ومنه تتعلّم الشبكة. وتوجد هذه الثنائية في المصنِّفات ونماذج اللغة والتقطير. ويرى جوناثان بارون ودان غنانابراغاسام وميخائيل تشينين في ورقتهم «A Fix for Softmax and Cross-Entropy» أن في جميع التطبيقات الشائعة لهاتين الدالتين خطأين في التقريب. ولم يلحظهما أحد إلا بعد أكثر من عشر سنوات من الاستخدام المكثف.

كيف يُطفئ التقريب عملية التعلّم

يسمّي المؤلفون الخلل الأول Softmax Collapse. تخيّلوا تلميذًا واثقًا من إجابته إلى حد أن المعلّم كفّ عن تصحيحه. وفي النموذج يحدث ما يشبه ذلك. فحين يكون النموذج واثقًا جدًا، يُقرَّب احتمال الفئة الصحيحة في الأرقام الحاسوبية إلى 100% بالضبط. وتُحتسب إشارة التعلّم تقريبًا على أنها «واحد ناقص الاحتمال»، أي تصبح صفرًا تمامًا. وهكذا يختفي التدرّج (gradient) الذي تُحدَّث به الأوزان، ويتوقف النموذج عن التعلّم من هذا المثال. والسبب ليس في الرياضيات، بل في أن العدد ذا الفاصلة العائمة له عدد محدود من الأرقام المعنوية.

أما الخلل الثاني فهو Softmax Cancellation، ويظهر في التقطير. والتقطير هو تدريب نموذج صغير (الطالب) على محاكاة إجابات نموذج كبير (المعلّم). فإذا تطابقت logits الطالب مع logits المعلّم، كان ينبغي أن يصبح التدرّج صفرًا. لكن عند طرح عددين متقاربين جدًا يترك التقريب باقيًا صغيرًا غير صفري. ويواصل هذا الباقي دفع الأوزان فتنجرف. ويكون ذلك أوضح ما يكون في bf16: فهذه الصيغة تخزّن عددًا قليلًا من الأرقام المعنوية، ومع ذلك تُدرَّب بها اليوم نماذج كبيرة كثيرة.

ما الذي اقترحه المؤلفون وما الأرقام التي حصلوا عليها

أعاد المؤلفون كتابة softmax وlog-softmax وcross-entropy (للتسميات الصلبة حيث تكون الإجابة الصحيحة واحدة، وللتسميات الناعمة حيث تكون مجموعة احتمالات) في الفضاء اللوغاريتمي. والفكرة واضحة: عدم طرح أعداد شبه متطابقة، بل الحساب بطريقة لا تضيع فيها الفروق الصغيرة. ولا يوجد مستودع منفصل، فقد أوردت الورقة مقاطع برمجية مكتفية ذاتيًا بلغة JAX.

أُجريت الاختبارات على الحساب المقياسي، حيث تظهر ظاهرة الغروكينغ (grokking) بوضوح. وهي الحالة التي يكتفي فيها النموذج طويلًا بحفظ أمثلة التدريب، ثم يبدأ فجأة بالتعميم.

  • في مهمة «الجمع بالمقياس 31» (a + b mod 31) وبصيغ bf16 وfp32 وfp64، حققت cross-entropy المُصحَّحة دقة 98,9–100% على الاختبار. أما القياسية فحققت 93,3–100%.
  • كانت البدائل أضعف أداءً. فقد أظهرت Zero-sum Projection، التي تطرح المتوسط من التدرجات، دقة 48,9–97,9%. وأظهرت StableMax، وهي استبدال softmax بدالة كسرية مجزّأة، دقة 95,6–97,4%.
  • في مهمة a² + b² mod 97 دون تنظيم (regularization)، بلغت دقة النسخة المُصحَّحة 85%. أما cross-entropy القياسية فارتفعت أولًا إلى 61%، ثم انخفضت إلى 23%.

وتختفي معها القفزات الحادة في الخسارة، المعروفة في الغروكينغ باسم تأثير المقلاع (Slingshot). وفي التقطير بصيغة bf16 يزول انجراف الأوزان، ولا حاجة للانتقال إلى fp64 الذي يزيد كلفته كثيرًا في الذاكرة والسرعة.

ماذا نفعل بهذا عمليًا

أهم ما في الأمر للمهندسين أنه بديل جاهز للاستبدال المباشر (drop-in). فالتغيير يقتصر على دالة خسارة واحدة، وتبقى البنية والبيانات كما هي. وإذا كنتم تدرّبون النماذج أو تقطّرونها بصيغة bf16 وتلاحظون قفزات غير مفهومة في الخسارة أو ركودًا عند الأمثلة الواثقة جدًا، فإن هذا التصحيح يستحق أن يكون أول ما تجرّبونه. فهو أرخص من نقل التدريب كله إلى صيغ أدق.

وهناك تحفظات ينبغي ذكرها بأمانة. فجميع التجارب أُجريت على مهام صغيرة من الحساب المقياسي، تُنشأ فيها عمدًا فجوات هائلة بين logits وفروق شبه معدومة بين الطالب والمعلّم. وفي التدريب الواسع النطاق نادرًا ما تظهر مثل هذه الأنماط المتطرفة، ولذلك لم يثبت بعد أي مكسب على نماذج اللغة الكبيرة. وقد يظهر الأثر في بيئات الإنتاج في سيناريوهات محددة فقط: تدريب طويل مع ثقة عالية لدى النموذج، أو تقطير مكثّف، أو حسابات منخفضة الدقة.

الخلاصة: من المبكر الوعد بأن نماذجكم ستتحسن فورًا. لكن من المفيد إضافة cross-entropy المُصحَّحة إلى مجموعة اختبارات A/B، خاصة في خطوط الإنتاج التي تستخدم bf16 والتقطير. وإذا تأكد الأثر على نطاقات واقعية، فسيأتي التحسين من إصلاح الأساس، لا من بنية جديدة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف يُطفئ التقريب عملية التعلّم؟

يسمّي المؤلفون الخلل الأول Softmax Collapse. تخيّلوا تلميذًا واثقًا من إجابته إلى حد أن المعلّم كفّ عن تصحيحه. وفي النموذج يحدث ما يشبه ذلك. فحين يكون النموذج واثقًا جدًا، يُقرَّب احتمال الفئة الصحيحة في الأرقام الحاسوبية إلى 100% بالضبط. وتُحتسب إشارة التعلّم تقريبًا على أنها «واحد ناقص الاحتمال»، أي تصبح صفرًا تمامًا. وهكذا يختفي التدرّج (gradient) الذي تُحدَّث به الأوزان، ويتوقف النموذج عن التعلّم من هذا المثال. والسبب ليس في الرياضيات، بل في أن العدد ذا الفاصلة العائمة له عدد محدود من الأرقام المعنوية.

ما أبرز التفاصيل حول ما الذي اقترحه المؤلفون وما الأرقام التي حصلوا عليها؟

أعاد المؤلفون كتابة softmax وlog-softmax وcross-entropy (للتسميات الصلبة حيث تكون الإجابة الصحيحة واحدة، وللتسميات الناعمة حيث تكون مجموعة احتمالات) في الفضاء اللوغاريتمي. والفكرة واضحة: عدم طرح أعداد شبه متطابقة، بل الحساب بطريقة لا تضيع فيها الفروق الصغيرة. ولا يوجد مستودع منفصل، فقد أوردت الورقة مقاطع برمجية مكتفية ذاتيًا بلغة JAX. أُجريت الاختبارات على الحساب المقياسي، حيث تظهر ظاهرة الغروكينغ (grokking) بوضوح. وهي الحالة التي يكتفي فيها النموذج طويلًا بحفظ أمثلة التدريب، ثم يبدأ فجأة بالتعميم.

ما أبرز التفاصيل حول ماذا نفعل بهذا عمليًا؟

أهم ما في الأمر للمهندسين أنه بديل جاهز للاستبدال المباشر (drop-in). فالتغيير يقتصر على دالة خسارة واحدة، وتبقى البنية والبيانات كما هي. وإذا كنتم تدرّبون النماذج أو تقطّرونها بصيغة bf16 وتلاحظون قفزات غير مفهومة في الخسارة أو ركودًا عند الأمثلة الواثقة جدًا، فإن هذا التصحيح يستحق أن يكون أول ما تجرّبونه. فهو أرخص من نقل التدريب كله إلى صيغ أدق. وهناك تحفظات ينبغي ذكرها بأمانة. فجميع التجارب أُجريت على مهام صغيرة من الحساب المقياسي، تُنشأ فيها عمدًا فجوات هائلة بين logits وفروق شبه معدومة بين الطالب والمعلّم.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…