ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارTG: @mishin_learning (Мишин Лернинг)→ المصدر

DeepMind تكتشف خطأين في تقريب softmax: التدرّج يتحوّل إلى صفر قبل أوانه

اكتشفت Google DeepMind خطأين في تقريب الأعداد داخل softmax وcross-entropy، وهما الدالتان اللتان تتدرّب عليهما تقريبًا كل شبكة عصبية. عندما تكون النماذج واثقة من إجابتها بنسبة تقارب 100%، يحوّل الحاسوب التدرّج الضئيل، أي تصحيح الأوزان، إلى صفر، مع أنه غير صفري على الورق. ويظهر الخطأ الثاني أثناء التقطير (distillation)، حين ينسخ نموذج صغير سلوك نموذج كبير. ويُعالج الأمر بإعادة ترتيب العمليات في الصيغة: تبقى الرياضيات كما هي، لكن الأعداد الصغيرة لا تضيع.

معالج بواسطة الذكاء الاصطناعي من TG: @mishin_learning (Мишин Лернинг)؛ بتحرير Hamidun News
DeepMind تكتشف خطأين في تقريب softmax: التدرّج يتحوّل إلى صفر قبل أوانه
المصدر: TG: @mishin_learning (Мишин Лернинг). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTG: @mishin_learning (Мишин Лернинг) ↗
رئيس التحرير
حقيقة رئيسية #1label smoothing ودرجة الحرارة المنخفضة يخفّفان من الخطأ الأول، لكنهما لا يصلحان الحساب
حقيقة رئيسية #2الخطأ الثاني يظهر حتى عندما يكرّر الطالب المعلّم تكرارًا مثاليًا
حقيقة رئيسية #3لا حاجة إلى طبقات جديدة ولا إلى معاملات فائقة (hyperparameters) جديدة: يتغيّر ترتيب العمليات فقط

تدخل softmax وcross-entropy في كل شبكة عصبية تقريبًا، من مصنّف الصور إلى نماذج اللغة الكبيرة. تحوّل softmax التقييمات «الخام» للنموذج إلى احتمالات، وتقارن cross-entropy هذه الاحتمالات بالإجابة الصحيحة وتحسب الخطأ. تُعدّ هاتان الدالتان أساسيتين و«محسومتين» إلى درجة أن قلّة تنظر في داخلهما. لكن باحثي Google DeepMind نظروا، واكتشفوا خطأين عدديين قد يجعلان التدريب يسير على غير ما هو مقصود. عنوان الورقة «A Fix for Softmax and Cross-Entropy» وهي منشورة على arXiv.

تنبغي الإشارة فورًا إلى أن الخطأ ليس في الرياضيات. الصيغ صحيحة. المشكلة في الطريقة التي يحسبها بها الحاسوب. فالأعداد ذات الفاصلة العائمة تُخزَّن بدقة محدودة، وتضيع منه القيم الصغيرة جدًا ببساطة.

أين يختفي التدرّج

التدرّج هو إشارة تحدّد «في أي اتجاه وبأي مقدار تُعدَّل الأوزان». يظهر الخطأ الأول حين يصبح النموذج واثقًا أكثر من اللازم من الإجابة الصحيحة. لنفترض أنه متأكد بنسبة 99,999999% من أن الصورة لقطة. على الورق، ما زال ينقصه قليل جدًا للوصول إلى المثالية، ويبقى التدرّج ضئيلًا لكنه غير صفري. أما الحاسوب فيقرّبه إلى الصفر قبل أوانه: فالثقة بالنسبة إليه صارت تساوي واحدًا، ولم يعد هناك ما يُتعلَّم.

يسهل تصوّر ذلك بصندوق دفع يتجاهل كل ما هو أقل من أصغر وحدة نقدية. عملية شراء واحدة لا تغيّر شيئًا. لكن التدريب ملايين الخطوات، وجزء من الإشارة المفيدة يضيع في كل واحدة منها.

يظهر الخطأ الثاني أثناء التقطير (distillation). هذا هو اسم التدريب الذي يكرّر فيه نموذج صغير هو الطالب إجابات نموذج كبير هو المعلّم. وبحسب وصف المؤلفين، يظهر الخطأ العددي حتى عندما يكرّر الطالب المعلّم تكرارًا مثاليًا. فالهدف تحقّق أصلًا، ومع ذلك يبقى الحساب مشوّهًا.

ما مدى سوء الوضع

يؤكد الباحثون أنفسهم أن الوضع ليس بالسوء الذي قد يبدو. فالأساليب المعروفة منذ زمن تحمي جزئيًا من المشكلة الأولى. يمنع label smoothing الإجابة الصحيحة من بلوغ ثقة بنسبة مئة بالمئة. ودرجة الحرارة المنخفضة أيضًا لا تسمح للنموذج بأن يصبح مفرط الثقة. وفي هذه الحالات لا يصل التدرّج إلى المنطقة التي يصفّره فيها التقريب.

لكن هذه الأساليب تعالج النتيجة لا السبب. فهي لا تصحّح خطأ الحساب نفسه. إضافة إلى ذلك، تغيّر هذه الأساليب هدف التدريب. يجعل label smoothing النموذج أقل حسمًا عن قصد، وحيث تكون المعايرة الأمينة للاحتمالات مهمة، قد يعيق ذلك العمل.

ما الذي اقترحه المؤلفون

جاء الحل بسيطًا: إعادة كتابة الصيغة، أي تغيير ترتيب العمليات. تبقى النتيجة الرياضية كما هي، لكن الحاسوب يتوقف عن فقدان الأعداد الصغيرة. لا حاجة إلى طبقات جديدة ولا إلى بنية مختلفة ولا إلى معاملات فائقة (hyperparameters) إضافية. إنه تعديل على مستوى تنفيذ الدالة نفسها.

يخرج المطوّرون من هذا باستنتاجين عمليين:

  • إذا كنتم تكتبون نواة (kernel) خاصة بكم لـ softmax أو cross-entropy، مثلًا بلغة CUDA أو Triton، أو تدرّبون نموذجًا بدقة منخفضة، فتحقّقوا من كيفية حساب الاحتمالات الصغيرة فيها.
  • إذا كنتم تستخدمون label smoothing أو درجة الحرارة «بحكم العادة»، فتذكّروا أنهما قد يخفيان مشكلة عددية بدلًا من إزالتها.

ما الذي لا نعرفه بعد

لا توجد أرقام في العرض المختصر للدراسة. وليس واضحًا إلى أي مدى يحسّن التصحيح جودة النماذج، وعلى أي مهام يظهر الأثر، وكيف يتجلّى في نماذج اللغة الكبيرة. ربما تراعي الأطر الشائعة (frameworks) جزءًا من هذه الدقائق أصلًا. ولتقدير المكسب الفعلي، يلزم قراءة الورقة نفسها والاطلاع على التجارب.

ومع ذلك، فالواقعة نفسها دالّة. حتى في أبسط اللبنات الأساسية للذكاء الاصطناعي توجد مواضع تؤثر فيها الحسابات غير الدقيقة في التدريب بصمت. والتصحيح قليل الكلفة، ويمسّ ربما كل من يدرّب الشبكات العصبية. أما العاملون في التدريب وفي كتابة النوى الخاصة، فينبغي لهم على الأقل تصفّح هذا العمل.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول أين يختفي التدرّج؟

التدرّج هو إشارة تحدّد «في أي اتجاه وبأي مقدار تُعدَّل الأوزان». يظهر الخطأ الأول حين يصبح النموذج واثقًا أكثر من اللازم من الإجابة الصحيحة. لنفترض أنه متأكد بنسبة 99,999999% من أن الصورة لقطة. على الورق، ما زال ينقصه قليل جدًا للوصول إلى المثالية، ويبقى التدرّج ضئيلًا لكنه غير صفري. أما الحاسوب فيقرّبه إلى الصفر قبل أوانه: فالثقة بالنسبة إليه صارت تساوي واحدًا، ولم يعد هناك ما يُتعلَّم. يسهل تصوّر ذلك بصندوق دفع يتجاهل كل ما هو أقل من أصغر وحدة نقدية. عملية شراء واحدة لا تغيّر شيئًا.

ما أبرز التفاصيل حول ما مدى سوء الوضع؟

يؤكد الباحثون أنفسهم أن الوضع ليس بالسوء الذي قد يبدو. فالأساليب المعروفة منذ زمن تحمي جزئيًا من المشكلة الأولى. يمنع label smoothing الإجابة الصحيحة من بلوغ ثقة بنسبة مئة بالمئة. ودرجة الحرارة المنخفضة أيضًا لا تسمح للنموذج بأن يصبح مفرط الثقة. وفي هذه الحالات لا يصل التدرّج إلى المنطقة التي يصفّره فيها التقريب. لكن هذه الأساليب تعالج النتيجة لا السبب. فهي لا تصحّح خطأ الحساب نفسه. إضافة إلى ذلك، تغيّر هذه الأساليب هدف التدريب.

ما أبرز التفاصيل حول ما الذي اقترحه المؤلفون؟

جاء الحل بسيطًا: إعادة كتابة الصيغة، أي تغيير ترتيب العمليات. تبقى النتيجة الرياضية كما هي، لكن الحاسوب يتوقف عن فقدان الأعداد الصغيرة. لا حاجة إلى طبقات جديدة ولا إلى بنية مختلفة ولا إلى معاملات فائقة (hyperparameters) إضافية. إنه تعديل على مستوى تنفيذ الدالة نفسها. يخرج المطوّرون من هذا باستنتاجين عمليين: إذا كنتم تكتبون نواة (kernel) خاصة بكم لـ softmax أو cross-entropy، مثلًا بلغة CUDA أو Triton، أو تدرّبون نموذجًا بدقة منخفضة، فتحقّقوا من كيفية حساب الاحتمالات الصغيرة فيها.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…