بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارTG: @gonzo_ML (gonzo-обзоры ML статей)→ المصدر

بتصفير أقل من 0.05% من الأوزان: نموذج LLM كبير يتعلم مهارة جديدة بكفاءة تضاهي الضبط الدقيق

تُضاف المهارة الجديدة عادةً بإعادة كتابة الأوزان، أما Deletion Tuning فيكتفي بتصفير جزء من الأوزان الموجودة. في أكبر النماذج كفى تصفير أقل من 0.05% من المعاملات، أي أقل من 5 من كل 10 000. ولا يُدرَّب سوى قناع «أبقِ أو صفِّر» لطبقات MLP. وقد بلغت الجودة مستوى الضبط الدقيق الكامل، بينما لم تنخفض الدقة في المهام القديمة بأكثر من نقطة واحدة. ولذلك يمكن تحويل نموذج واحد بين المهارات المختلفة بأقنعة لا يتجاوز حجمها بضعة ميغابايتات.

معالج بواسطة الذكاء الاصطناعي من TG: @gonzo_ML (gonzo-обзоры ML статей)؛ بتحرير Hamidun News
بتصفير أقل من 0.05% من الأوزان: نموذج LLM كبير يتعلم مهارة جديدة بكفاءة تضاهي الضبط الدقيق
المصدر: TG: @gonzo_ML (gonzo-обзоры ML статей). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
رئيس التحرير
حقيقة رئيسية #1النماذج الصغيرة تبلغ أحيانًا نحو 90% فقط من دقة التحديث الكثيف
حقيقة رئيسية #2محوّلات bf16 غير المضغوطة من الرتبة 1 تكون في الغالب أصغر حجمًا من الأقنعة
حقيقة رئيسية #3لم يُختبر التدريب الإضافي المتتابع، ويحتاج التدريب إلى ذاكرة أكبر بكثير

لنفترض أن لديكم نموذجًا لغويًا كبيرًا واحدًا في بيئة الإنتاج، وأن العملاء يحتاجون إلى مهارات مختلفة: أحدهم يريد وكيلًا يستدعي الأدوات، وآخر يريد استدلالًا خطوة بخطوة. عادةً يُعاد لهذا الغرض كتابة أوزان النموذج كلها (الضبط الدقيق الكامل)، أو يُضاف فوقه محوّل صغير مثل LoRA. أما الباحثان جاك لو ومينغيه رن (Mengye Ren) وزملاؤهما فاقترحوا طريقًا ثالثًا هو Deletion Tuning: لا إضافة لأي شيء، بل تصفير جزء ضئيل من الأوزان الموجودة أصلًا.

وفي أكبر النماذج التي اختُبرت، كفى تصفير أقل من 0.05% من المعاملات، أي أقل من خمسة أوزان من كل عشرة آلاف، لتتساوى الجودة مع الضبط الدقيق الكامل. بالنسبة إلى من يخدمون أنواعًا كثيرة من نموذج واحد، هذه فكرة هندسية مثيرة للاهتمام، وإن كانت لا تزال بعيدة عن أن تصبح أداة جاهزة.

كيف نعلّم النموذج بالحذف فقط

تخيّلوا كتاب وصفات ضخمًا. بدل إضافة صفحات جديدة، تشطبون بضعة أسطر فيبدأ الطاهي بالطهي بطريقة مختلفة. هكذا تقريبًا تعمل الطريقة. يبقى النموذج الأصلي مجمَّدًا، ولا يُدرَّب سوى قناع ثنائي لإسقاطات البوابة (gate projections) في كتل MLP. وهذا هو الجزء من الطبقة الذي يقرر أي الإشارات تمرّ إلى ما بعده. يقول القناع لكل وزن: «أبقِ» أو «صفِّر». أما الأوزان المُبقاة فلا تتغير إطلاقًا.

بهذه الطريقة تكتسب النماذج المدرَّبة مسبقًا مهارات جديدة في الاستدلال والعمل مع الأدوات دون كتابة أي أوزان جديدة. ولا تتأثر قدراتها السابقة في المقابل.

ماذا أظهرت القياسات

على المقاييس الكبيرة، ساوى Deletion Tuning الضبط الدقيق الكامل، وهو أغلى أساليب التكيّف لأنه يحدّث جميع الأوزان. واختُبر بشكل منفصل ما إذا كان النموذج ينسى ما تعلّمه سابقًا. فبعد التدريب بالتعلّم المعزَّز، لم تنخفض الدقة في المهام السابقة بأكثر من نقطة واحدة مقارنةً بالنموذج الأساسي. والنقطة الواحدة تعني، مثلًا، الانخفاض من 80% إلى 79%.

أما مع النماذج الصغيرة فالنتيجة أسوأ: إذ تبلغ أحيانًا نحو 90% فقط من دقة التحديث الكثيف، أي الضبط الدقيق المعتاد لجميع الأوزان. ويبدو من ذلك أن الطريقة تعمل بصورة أفضل على الشبكات الكبيرة. وربما يكون العثور في هذه الشبكات على أوزان يمكن إيقافها دون خسائر أسهل، لكن هذا افتراضنا نحن وليس استنتاج المؤلفين.

ما الفائدة عمليًا

تكمن الفائدة الرئيسية في الاستدلال (inference)، أي في تشغيل النموذج الجاهز وخدمته. فإذا خُزِّنت المهارة في قناع بتّي حجمه بضعة ميغابايتات، أمكن تحويل نموذج واحد مشترك في ذاكرة GPU بين المهام. يُفعَّل لأحد العملاء قناع «وكيل مع أدوات»، ولآخر قناع «الاستدلال». وتبقى المهارات القديمة في مكانها. وقد نشر المؤلفون الشيفرة والأقنعة المدرَّبة على Hugging Face، فيمكن التحقق من الفكرة بأنفسكم.

تحفظات

أولًا، المكسب في الحجم ليس مضمونًا. فالمحوّلات غير المضغوطة من الرتبة 1 بصيغة bf16 تشغل في كثير من الأحيان مساحة أقل من القناع. لذلك لا تبدو الطريقة حتى الآن فائزًا واضحًا على LoRA كوسيلة لتخزين أنواع كثيرة من النموذج بشكل أكثر إحكامًا.

ثانيًا، تدريب القناع نفسه يتطلب ذاكرة أكبر بكثير من تدريب محوّل صغير. وهذا عيب جدي للفرق التي لا تملك سوى عدد محدود من وحدات GPU.

ثالثًا، لم يُختبر في البحث التدريب الإضافي المتتابع، أي أن يكتسب النموذج مهارة أولى ثم ثانية ثم ثالثة. وهكذا تعمل الفرق المنتِجة عادةً. ولا يُعرف ما إذا كانت الأقنعة ستتراكب فوق بعضها دون تعارض.

الخلاصة

ما زال Deletion Tuning عملًا بحثيًا، وليس أداة ينبغي نقلها إلى الإنتاج غدًا. لكنه يُظهر أن النموذج الكبير المدرَّب مسبقًا يحمل من القدرات ما يفوق المتصوَّر، وأنه يمكن أحيانًا إظهارها بتصفير أجزاء من مئة من الواحد في المئة من الأوزان. وإذا كنتم تبنون خدمة متعددة المهام على نموذج مشترك واحد، فاطّلعوا على الورقة والشيفرة. وإن أمكن حل مشكلتي الذاكرة أثناء التدريب والتدريب الإضافي المتتابع، فقد تصبح الأقنعة التي تُقاس بالميغابايت بديلًا مريحًا للمحوّلات.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف نعلّم النموذج بالحذف فقط؟

تخيّلوا كتاب وصفات ضخمًا. بدل إضافة صفحات جديدة، تشطبون بضعة أسطر فيبدأ الطاهي بالطهي بطريقة مختلفة. هكذا تقريبًا تعمل الطريقة. يبقى النموذج الأصلي مجمَّدًا، ولا يُدرَّب سوى قناع ثنائي لإسقاطات البوابة (gate projections) في كتل MLP. وهذا هو الجزء من الطبقة الذي يقرر أي الإشارات تمرّ إلى ما بعده. يقول القناع لكل وزن: «أبقِ» أو «صفِّر». أما الأوزان المُبقاة فلا تتغير إطلاقًا. بهذه الطريقة تكتسب النماذج المدرَّبة مسبقًا مهارات جديدة في الاستدلال والعمل مع الأدوات دون كتابة أي أوزان جديدة.

ما أبرز التفاصيل حول ماذا أظهرت القياسات؟

على المقاييس الكبيرة، ساوى Deletion Tuning الضبط الدقيق الكامل، وهو أغلى أساليب التكيّف لأنه يحدّث جميع الأوزان. واختُبر بشكل منفصل ما إذا كان النموذج ينسى ما تعلّمه سابقًا. فبعد التدريب بالتعلّم المعزَّز، لم تنخفض الدقة في المهام السابقة بأكثر من نقطة واحدة مقارنةً بالنموذج الأساسي. والنقطة الواحدة تعني، مثلًا، الانخفاض من 80% إلى 79%. أما مع النماذج الصغيرة فالنتيجة أسوأ: إذ تبلغ أحيانًا نحو 90% فقط من دقة التحديث الكثيف، أي الضبط الدقيق المعتاد لجميع الأوزان.

ما أبرز التفاصيل حول ما الفائدة عمليًا؟

تكمن الفائدة الرئيسية في الاستدلال (inference)، أي في تشغيل النموذج الجاهز وخدمته. فإذا خُزِّنت المهارة في قناع بتّي حجمه بضعة ميغابايتات، أمكن تحويل نموذج واحد مشترك في ذاكرة GPU بين المهام. يُفعَّل لأحد العملاء قناع «وكيل مع أدوات»، ولآخر قناع «الاستدلال». وتبقى المهارات القديمة في مكانها. وقد نشر المؤلفون الشيفرة والأقنعة المدرَّبة على Hugging Face، فيمكن التحقق من الفكرة بأنفسكم.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…