بتصفير أقل من 0.05% من الأوزان: نموذج LLM كبير يتعلم مهارة جديدة بكفاءة تضاهي الضبط الدقيق
تُضاف المهارة الجديدة عادةً بإعادة كتابة الأوزان، أما Deletion Tuning فيكتفي بتصفير جزء من الأوزان الموجودة. في أكبر النماذج كفى تصفير أقل من 0.05% من المعاملات، أي أقل من 5 من كل 10 000. ولا يُدرَّب سوى قناع «أبقِ أو صفِّر» لطبقات MLP. وقد بلغت الجودة مستوى الضبط الدقيق الكامل، بينما لم تنخفض الدقة في المهام القديمة بأكثر من نقطة واحدة. ولذلك يمكن تحويل نموذج واحد بين المهارات المختلفة بأقنعة لا يتجاوز حجمها بضعة ميغابايتات.
معالج بواسطة الذكاء الاصطناعي من TG: @gonzo_ML (gonzo-обзоры ML статей)؛ بتحرير Hamidun News
لنفترض أن لديكم نموذجًا لغويًا كبيرًا واحدًا في بيئة الإنتاج، وأن العملاء يحتاجون إلى مهارات مختلفة: أحدهم يريد وكيلًا يستدعي الأدوات، وآخر يريد استدلالًا خطوة بخطوة. عادةً يُعاد لهذا الغرض كتابة أوزان النموذج كلها (الضبط الدقيق الكامل)، أو يُضاف فوقه محوّل صغير مثل LoRA. أما الباحثان جاك لو ومينغيه رن (Mengye Ren) وزملاؤهما فاقترحوا طريقًا ثالثًا هو Deletion Tuning: لا إضافة لأي شيء، بل تصفير جزء ضئيل من الأوزان الموجودة أصلًا.
وفي أكبر النماذج التي اختُبرت، كفى تصفير أقل من 0.05% من المعاملات، أي أقل من خمسة أوزان من كل عشرة آلاف، لتتساوى الجودة مع الضبط الدقيق الكامل. بالنسبة إلى من يخدمون أنواعًا كثيرة من نموذج واحد، هذه فكرة هندسية مثيرة للاهتمام، وإن كانت لا تزال بعيدة عن أن تصبح أداة جاهزة.
كيف نعلّم النموذج بالحذف فقط
تخيّلوا كتاب وصفات ضخمًا. بدل إضافة صفحات جديدة، تشطبون بضعة أسطر فيبدأ الطاهي بالطهي بطريقة مختلفة. هكذا تقريبًا تعمل الطريقة. يبقى النموذج الأصلي مجمَّدًا، ولا يُدرَّب سوى قناع ثنائي لإسقاطات البوابة (gate projections) في كتل MLP. وهذا هو الجزء من الطبقة الذي يقرر أي الإشارات تمرّ إلى ما بعده. يقول القناع لكل وزن: «أبقِ» أو «صفِّر». أما الأوزان المُبقاة فلا تتغير إطلاقًا.
بهذه الطريقة تكتسب النماذج المدرَّبة مسبقًا مهارات جديدة في الاستدلال والعمل مع الأدوات دون كتابة أي أوزان جديدة. ولا تتأثر قدراتها السابقة في المقابل.
ماذا أظهرت القياسات
على المقاييس الكبيرة، ساوى Deletion Tuning الضبط الدقيق الكامل، وهو أغلى أساليب التكيّف لأنه يحدّث جميع الأوزان. واختُبر بشكل منفصل ما إذا كان النموذج ينسى ما تعلّمه سابقًا. فبعد التدريب بالتعلّم المعزَّز، لم تنخفض الدقة في المهام السابقة بأكثر من نقطة واحدة مقارنةً بالنموذج الأساسي. والنقطة الواحدة تعني، مثلًا، الانخفاض من 80% إلى 79%.
أما مع النماذج الصغيرة فالنتيجة أسوأ: إذ تبلغ أحيانًا نحو 90% فقط من دقة التحديث الكثيف، أي الضبط الدقيق المعتاد لجميع الأوزان. ويبدو من ذلك أن الطريقة تعمل بصورة أفضل على الشبكات الكبيرة. وربما يكون العثور في هذه الشبكات على أوزان يمكن إيقافها دون خسائر أسهل، لكن هذا افتراضنا نحن وليس استنتاج المؤلفين.
ما الفائدة عمليًا
تكمن الفائدة الرئيسية في الاستدلال (inference)، أي في تشغيل النموذج الجاهز وخدمته. فإذا خُزِّنت المهارة في قناع بتّي حجمه بضعة ميغابايتات، أمكن تحويل نموذج واحد مشترك في ذاكرة GPU بين المهام. يُفعَّل لأحد العملاء قناع «وكيل مع أدوات»، ولآخر قناع «الاستدلال». وتبقى المهارات القديمة في مكانها. وقد نشر المؤلفون الشيفرة والأقنعة المدرَّبة على Hugging Face، فيمكن التحقق من الفكرة بأنفسكم.
تحفظات
أولًا، المكسب في الحجم ليس مضمونًا. فالمحوّلات غير المضغوطة من الرتبة 1 بصيغة bf16 تشغل في كثير من الأحيان مساحة أقل من القناع. لذلك لا تبدو الطريقة حتى الآن فائزًا واضحًا على LoRA كوسيلة لتخزين أنواع كثيرة من النموذج بشكل أكثر إحكامًا.
ثانيًا، تدريب القناع نفسه يتطلب ذاكرة أكبر بكثير من تدريب محوّل صغير. وهذا عيب جدي للفرق التي لا تملك سوى عدد محدود من وحدات GPU.
ثالثًا، لم يُختبر في البحث التدريب الإضافي المتتابع، أي أن يكتسب النموذج مهارة أولى ثم ثانية ثم ثالثة. وهكذا تعمل الفرق المنتِجة عادةً. ولا يُعرف ما إذا كانت الأقنعة ستتراكب فوق بعضها دون تعارض.
الخلاصة
ما زال Deletion Tuning عملًا بحثيًا، وليس أداة ينبغي نقلها إلى الإنتاج غدًا. لكنه يُظهر أن النموذج الكبير المدرَّب مسبقًا يحمل من القدرات ما يفوق المتصوَّر، وأنه يمكن أحيانًا إظهارها بتصفير أجزاء من مئة من الواحد في المئة من الأوزان. وإذا كنتم تبنون خدمة متعددة المهام على نموذج مشترك واحد، فاطّلعوا على الورقة والشيفرة. وإن أمكن حل مشكلتي الذاكرة أثناء التدريب والتدريب الإضافي المتتابع، فقد تصبح الأقنعة التي تُقاس بالميغابايت بديلًا مريحًا للمحوّلات.
- 18 نوفمبر 2026استعادة موضع التوكن في ترانسفورمر NoPE بنسبة 99%، وفي RWKV-7 بنسبة 29–42%
- 18 نوفمبر 2026Liquid AI تطلق LiquidCodec: فك ترميز الكلام أسرع 2,9 مرة من Mimi
- 18 نوفمبر 20261000 وكيل ذكاء اصطناعي كتبوا روبوت دردشة بلا شبكة عصبية: ارتفعت نسبة الفوز من 0% إلى 26%
- 18 نوفمبر 2026Concertina تطوي Qwen3-4B كالأكورديون: أصغر بنسبة 43% وبجودة تبلغ 84% من النموذج الأصلي
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف نعلّم النموذج بالحذف فقط؟
تخيّلوا كتاب وصفات ضخمًا. بدل إضافة صفحات جديدة، تشطبون بضعة أسطر فيبدأ الطاهي بالطهي بطريقة مختلفة. هكذا تقريبًا تعمل الطريقة. يبقى النموذج الأصلي مجمَّدًا، ولا يُدرَّب سوى قناع ثنائي لإسقاطات البوابة (gate projections) في كتل MLP. وهذا هو الجزء من الطبقة الذي يقرر أي الإشارات تمرّ إلى ما بعده. يقول القناع لكل وزن: «أبقِ» أو «صفِّر». أما الأوزان المُبقاة فلا تتغير إطلاقًا. بهذه الطريقة تكتسب النماذج المدرَّبة مسبقًا مهارات جديدة في الاستدلال والعمل مع الأدوات دون كتابة أي أوزان جديدة.
ما أبرز التفاصيل حول ماذا أظهرت القياسات؟
على المقاييس الكبيرة، ساوى Deletion Tuning الضبط الدقيق الكامل، وهو أغلى أساليب التكيّف لأنه يحدّث جميع الأوزان. واختُبر بشكل منفصل ما إذا كان النموذج ينسى ما تعلّمه سابقًا. فبعد التدريب بالتعلّم المعزَّز، لم تنخفض الدقة في المهام السابقة بأكثر من نقطة واحدة مقارنةً بالنموذج الأساسي. والنقطة الواحدة تعني، مثلًا، الانخفاض من 80% إلى 79%. أما مع النماذج الصغيرة فالنتيجة أسوأ: إذ تبلغ أحيانًا نحو 90% فقط من دقة التحديث الكثيف، أي الضبط الدقيق المعتاد لجميع الأوزان.
ما أبرز التفاصيل حول ما الفائدة عمليًا؟
تكمن الفائدة الرئيسية في الاستدلال (inference)، أي في تشغيل النموذج الجاهز وخدمته. فإذا خُزِّنت المهارة في قناع بتّي حجمه بضعة ميغابايتات، أمكن تحويل نموذج واحد مشترك في ذاكرة GPU بين المهام. يُفعَّل لأحد العملاء قناع «وكيل مع أدوات»، ولآخر قناع «الاستدلال». وتبقى المهارات القديمة في مكانها. وقد نشر المؤلفون الشيفرة والأقنعة المدرَّبة على Hugging Face، فيمكن التحقق من الفكرة بأنفسكم.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.