DeepMind تكتشف خطأين في تقريب softmax: التدرّج يتحوّل إلى صفر قبل أوانه
اكتشفت Google DeepMind خطأين في تقريب الأعداد داخل softmax وcross-entropy، وهما الدالتان اللتان تتدرّب عليهما تقريبًا كل شبكة عصبية. عندما تكون النماذج واثقة من إجابتها بنسبة تقارب 100%، يحوّل الحاسوب التدرّج الضئيل، أي تصحيح الأوزان، إلى صفر، مع أنه غير صفري على الورق. ويظهر الخطأ الثاني أثناء التقطير (distillation)، حين ينسخ نموذج صغير سلوك نموذج كبير. ويُعالج الأمر بإعادة ترتيب العمليات في الصيغة: تبقى الرياضيات كما هي، لكن الأعداد الصغيرة لا تضيع.
معالج بواسطة الذكاء الاصطناعي من TG: @mishin_learning (Мишин Лернинг)؛ بتحرير Hamidun News
تدخل softmax وcross-entropy في كل شبكة عصبية تقريبًا، من مصنّف الصور إلى نماذج اللغة الكبيرة. تحوّل softmax التقييمات «الخام» للنموذج إلى احتمالات، وتقارن cross-entropy هذه الاحتمالات بالإجابة الصحيحة وتحسب الخطأ. تُعدّ هاتان الدالتان أساسيتين و«محسومتين» إلى درجة أن قلّة تنظر في داخلهما. لكن باحثي Google DeepMind نظروا، واكتشفوا خطأين عدديين قد يجعلان التدريب يسير على غير ما هو مقصود. عنوان الورقة «A Fix for Softmax and Cross-Entropy» وهي منشورة على arXiv.
تنبغي الإشارة فورًا إلى أن الخطأ ليس في الرياضيات. الصيغ صحيحة. المشكلة في الطريقة التي يحسبها بها الحاسوب. فالأعداد ذات الفاصلة العائمة تُخزَّن بدقة محدودة، وتضيع منه القيم الصغيرة جدًا ببساطة.
أين يختفي التدرّج
التدرّج هو إشارة تحدّد «في أي اتجاه وبأي مقدار تُعدَّل الأوزان». يظهر الخطأ الأول حين يصبح النموذج واثقًا أكثر من اللازم من الإجابة الصحيحة. لنفترض أنه متأكد بنسبة 99,999999% من أن الصورة لقطة. على الورق، ما زال ينقصه قليل جدًا للوصول إلى المثالية، ويبقى التدرّج ضئيلًا لكنه غير صفري. أما الحاسوب فيقرّبه إلى الصفر قبل أوانه: فالثقة بالنسبة إليه صارت تساوي واحدًا، ولم يعد هناك ما يُتعلَّم.
يسهل تصوّر ذلك بصندوق دفع يتجاهل كل ما هو أقل من أصغر وحدة نقدية. عملية شراء واحدة لا تغيّر شيئًا. لكن التدريب ملايين الخطوات، وجزء من الإشارة المفيدة يضيع في كل واحدة منها.
يظهر الخطأ الثاني أثناء التقطير (distillation). هذا هو اسم التدريب الذي يكرّر فيه نموذج صغير هو الطالب إجابات نموذج كبير هو المعلّم. وبحسب وصف المؤلفين، يظهر الخطأ العددي حتى عندما يكرّر الطالب المعلّم تكرارًا مثاليًا. فالهدف تحقّق أصلًا، ومع ذلك يبقى الحساب مشوّهًا.
ما مدى سوء الوضع
يؤكد الباحثون أنفسهم أن الوضع ليس بالسوء الذي قد يبدو. فالأساليب المعروفة منذ زمن تحمي جزئيًا من المشكلة الأولى. يمنع label smoothing الإجابة الصحيحة من بلوغ ثقة بنسبة مئة بالمئة. ودرجة الحرارة المنخفضة أيضًا لا تسمح للنموذج بأن يصبح مفرط الثقة. وفي هذه الحالات لا يصل التدرّج إلى المنطقة التي يصفّره فيها التقريب.
لكن هذه الأساليب تعالج النتيجة لا السبب. فهي لا تصحّح خطأ الحساب نفسه. إضافة إلى ذلك، تغيّر هذه الأساليب هدف التدريب. يجعل label smoothing النموذج أقل حسمًا عن قصد، وحيث تكون المعايرة الأمينة للاحتمالات مهمة، قد يعيق ذلك العمل.
ما الذي اقترحه المؤلفون
جاء الحل بسيطًا: إعادة كتابة الصيغة، أي تغيير ترتيب العمليات. تبقى النتيجة الرياضية كما هي، لكن الحاسوب يتوقف عن فقدان الأعداد الصغيرة. لا حاجة إلى طبقات جديدة ولا إلى بنية مختلفة ولا إلى معاملات فائقة (hyperparameters) إضافية. إنه تعديل على مستوى تنفيذ الدالة نفسها.
يخرج المطوّرون من هذا باستنتاجين عمليين:
- إذا كنتم تكتبون نواة (kernel) خاصة بكم لـ softmax أو cross-entropy، مثلًا بلغة CUDA أو Triton، أو تدرّبون نموذجًا بدقة منخفضة، فتحقّقوا من كيفية حساب الاحتمالات الصغيرة فيها.
- إذا كنتم تستخدمون label smoothing أو درجة الحرارة «بحكم العادة»، فتذكّروا أنهما قد يخفيان مشكلة عددية بدلًا من إزالتها.
ما الذي لا نعرفه بعد
لا توجد أرقام في العرض المختصر للدراسة. وليس واضحًا إلى أي مدى يحسّن التصحيح جودة النماذج، وعلى أي مهام يظهر الأثر، وكيف يتجلّى في نماذج اللغة الكبيرة. ربما تراعي الأطر الشائعة (frameworks) جزءًا من هذه الدقائق أصلًا. ولتقدير المكسب الفعلي، يلزم قراءة الورقة نفسها والاطلاع على التجارب.
ومع ذلك، فالواقعة نفسها دالّة. حتى في أبسط اللبنات الأساسية للذكاء الاصطناعي توجد مواضع تؤثر فيها الحسابات غير الدقيقة في التدريب بصمت. والتصحيح قليل الكلفة، ويمسّ ربما كل من يدرّب الشبكات العصبية. أما العاملون في التدريب وفي كتابة النوى الخاصة، فينبغي لهم على الأقل تصفّح هذا العمل.
- 21 نوفمبر 2026كاليفورنيا تقاضي OpenAI: وكلاء الذكاء الاصطناعي لديها خرجوا عن السيطرة 80 مرة على الأقل
- 21 نوفمبر 2026نموذج MIRA العصبي يرسم Rocket League بسرعة 20 إطارًا في الثانية، لكن زمن الاستجابة يصل إلى 460 مللي ثانية
- 21 نوفمبر 2026غوغل تبني نسخة مغلقة من الإنترنت تضم بنوكًا وهمية لتدريب وكلاء الذكاء الاصطناعي في Chrome
- 21 نوفمبر 2026اختبار MLPerf يشهد لأول مرة مشاركة Nvidia Rubin وTPU Ironwood: 153 نظامًا
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول أين يختفي التدرّج؟
التدرّج هو إشارة تحدّد «في أي اتجاه وبأي مقدار تُعدَّل الأوزان». يظهر الخطأ الأول حين يصبح النموذج واثقًا أكثر من اللازم من الإجابة الصحيحة. لنفترض أنه متأكد بنسبة 99,999999% من أن الصورة لقطة. على الورق، ما زال ينقصه قليل جدًا للوصول إلى المثالية، ويبقى التدرّج ضئيلًا لكنه غير صفري. أما الحاسوب فيقرّبه إلى الصفر قبل أوانه: فالثقة بالنسبة إليه صارت تساوي واحدًا، ولم يعد هناك ما يُتعلَّم. يسهل تصوّر ذلك بصندوق دفع يتجاهل كل ما هو أقل من أصغر وحدة نقدية. عملية شراء واحدة لا تغيّر شيئًا.
ما أبرز التفاصيل حول ما مدى سوء الوضع؟
يؤكد الباحثون أنفسهم أن الوضع ليس بالسوء الذي قد يبدو. فالأساليب المعروفة منذ زمن تحمي جزئيًا من المشكلة الأولى. يمنع label smoothing الإجابة الصحيحة من بلوغ ثقة بنسبة مئة بالمئة. ودرجة الحرارة المنخفضة أيضًا لا تسمح للنموذج بأن يصبح مفرط الثقة. وفي هذه الحالات لا يصل التدرّج إلى المنطقة التي يصفّره فيها التقريب. لكن هذه الأساليب تعالج النتيجة لا السبب. فهي لا تصحّح خطأ الحساب نفسه. إضافة إلى ذلك، تغيّر هذه الأساليب هدف التدريب.
ما أبرز التفاصيل حول ما الذي اقترحه المؤلفون؟
جاء الحل بسيطًا: إعادة كتابة الصيغة، أي تغيير ترتيب العمليات. تبقى النتيجة الرياضية كما هي، لكن الحاسوب يتوقف عن فقدان الأعداد الصغيرة. لا حاجة إلى طبقات جديدة ولا إلى بنية مختلفة ولا إلى معاملات فائقة (hyperparameters) إضافية. إنه تعديل على مستوى تنفيذ الدالة نفسها. يخرج المطوّرون من هذا باستنتاجين عمليين: إذا كنتم تكتبون نواة (kernel) خاصة بكم لـ softmax أو cross-entropy، مثلًا بلغة CUDA أو Triton، أو تدرّبون نموذجًا بدقة منخفضة، فتحقّقوا من كيفية حساب الاحتمالات الصغيرة فيها.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.