Concertina تطوي Qwen3-4B كالأكورديون: أصغر بنسبة 43% وبجودة تبلغ 84% من النموذج الأصلي
لم يحذف الباحثون طبقات Qwen3-4B، بل طووها زوجًا زوجًا كالأكورديون: حلّت كتلة مشتركة واحدة محل كل طبقتين متجاورتين، وتُنفَّذ هذه الكتلة مرتين. انخفض عدد المعاملات إلى 2,27 مليار بدل 4,02 مليار (أي بنسبة 43%)، وبلغت الجودة نحو 84% من النموذج الأصلي. واكتفى التدريب الإضافي بـ 22 مليار توكن، وتفوّق النموذج على Qwen3-1.7B في ستة من ثمانية اختبارات، علمًا أن Qwen3-1.7B دُرّب على 36 تريليون توكن. لكن التوفير يقتصر حتى الآن على الذاكرة، فلم تُقَس السرعة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تُنتج النماذج اللغوية الصغيرة عادةً بإحدى طريقتين: إما تدريبها من الصفر على مدوّنة ضخمة، وإما اقتطاع جزء من طبقات نموذج كبير على أمل ألا تتراجع قدراته. الأولى تكلّف مبالغ طائلة، والثانية تضرّ بالجودة. اقترح باحثون طريقة ثالثة باسم Concertina: لا تُحذف طبقات Qwen3-4B، بل تُطوى زوجًا زوجًا كما يُطوى منفاخ آلة الكونسرتينا. نتيجة لذلك انخفض حجم النموذج من 4,02 إلى 2,27 مليار معامل (بنسبة 43%)، واحتفظ بنحو 84% من جودة Qwen3-4B الأصلي (وهو متوسط ثمانية اختبارات، إذ تُقسَم درجة النموذج «المضغوط» على درجة النموذج المعلّم)، ولم يحتج إلا إلى تقطير على 22 مليار توكن. إذا كان النموذج لا يتسع في ذاكرة حاسوبك المحمول أو هاتفك أو بطاقة رسوميات رخيصة، فالنتيجة تستحق قراءة أدق.
كيف يُطوى النموذج كالأكورديون
اعتمد مؤلفو ورقة «Folding Language Models into Themselves» على Qwen3-4B. استبدلوا كل زوج من الطبقات المتجاورة بكتلة مشتركة واحدة تُنفَّذ مرتين متتاليتين. تؤخذ المصفوفات المشتركة من الطبقة الأولى في الزوج، ويبقى عمق الشبكة كما هو: 36 طبقة، أي 18 كتلة فريدة بمرورين لكل منها.
تخيّل موظفَين متجاورَين يؤديان عملًا متقاربًا جدًا. بدل أن تُبقي على وظيفتين، توظّف شخصًا واحدًا وتطلب منه تنفيذ المهمة مرتين، مع تعديل بسيط في المرة الثانية. يحسب المؤلفون هذا التعديل من الفرق بين الطبقتين الأصليتين: يأخذون تقريبًا مضغوطًا له من الرتبة 64 (تفكيك SVD المبتور)، وتقرر بوابة خاصة بكل توكن مقدار تطبيقه. أما طبقات التطبيع RMSNorm فيبقى لكل مرور منها نسخته الخاصة.
بعد التجميع، يُقطَّر النموذج «الطالب» الناتج من Qwen3-4B نفسه، أي يُدرَّب على تكرار إجابات النموذج الأصلي. استغرق ذلك 22 مليار توكن.
ماذا أظهرت الاختبارات
قارن الباحثون بين المعلّم Qwen3-4B، ونموذج Qwen3-1.7B (دُرّب على 36 تريليون توكن، أي ما يقارب 1 600 ضعف حجم البيانات)، ونموذج Concertina-2,27B.
يتفوق Concertina على Qwen3-1.7B في ستة من ثمانية مؤشرات: متوسط الدرجات في سبعة اختبارات أساسية base-7 (58,0% مقابل 56,2%)، وMMLU-Pro (30,1% مقابل 29,7%)، وGPQA ذي الأسئلة بمستوى الدراسات العليا (30,8% مقابل 29,3%)، وBBH للمنطق المعقّد (40,0% مقابل 36,3%)، وGSM8K لرياضيات المدرسة (78,8% مقابل 71,0%)، وMATH (49,8% مقابل 46,0%). أما في MMLU (55,6% مقابل 55,7%) وMMLU-Redux (58,7% مقابل 59,1%) فيتأخر بفارق ضئيل جدًا. ولا يلحق بالمعلّم Qwen3-4B في أي اختبار: ففي base-7 مثلًا يسجّل المعلّم 63,0%، وفي GSM8K يسجّل 87,9%.
يبلغ متوسط نسبة جودة المعلّم، بحسب حساب الجدول، 84%، وهو ما يعلنه المؤلفون أيضًا. وتصمد مهام الاستدلال أفضل من غيرها: نحو 90% في base-7 وGSM8K. أما المعرفة والأسئلة المعقّدة فتخسر أكثر: يقف MMLU-Pro وBBH عند 75–80% من مستوى المعلّم.
ما الذي يتوفّر وما الذي لا يتوفّر
ينخفض وزن النموذج بصيغة bf16 من 8,0 إلى 4,5 غيغابايت. وبالنسبة إلى الأجهزة التي تكون فيها ذاكرة الأوزان هي العائق الأساسي، فالمكسب واضح فورًا: النموذج الذي لم يكن يتسع سابقًا صار يتسع الآن.
لكن الصورة أعقد في بقية الجوانب. فالعمق الفعلي بقي 36 طبقة، ولذلك فإن KV-cache مماثل لما في Qwen3-4B. وعلى الأرجح فإن الحسابات لكل توكن مماثلة تقريبًا أيضًا، لأن كل كتلة مشتركة تُنفَّذ مرتين. ولا توجد في بطاقة النموذج قياسات للسرعة ولا للإنتاجية، لذا لا يوجد حتى الآن ما يثبت الفائدة في الاستدلال على الخوادم، حيث تحسم السرعة والكاش الأمر.
وثمة تحفظات على الإصدار نفسه. يضم المستودع commitين فقط ونقطة تحقق واحدة (checkpoint): لا توجد أحجام أخرى لمجموعة الطبقات ولا رتب أخرى للتعديل. وقد عُرضت الطريقة على نموذج واحد، وما زال من غير المعروف كيف ستنتقل إلى عائلات نماذج أخرى. الشيفرة قصيرة: الدالتان fold_model وdistill_loss واختبار ذاتي على CPU. والأوزان متاحة على Hugging Face بترخيص Apache 2.0، مثل Qwen3-4B الأصلي.
ماذا نفعل بهذا
إذا كنت تنشر النماذج على أجهزة الحافة (edge) أو توفّر ذاكرة الفيديو، فجدير بك تنزيل نقطة التحقق وتجربتها على مهامك، خصوصًا حيث تحتاج إلى الاستدلال والرياضيات لا إلى المعرفة الموسوعية. وأهم ما ينبغي قياسه بنفسك هو tokens/sec الفعلية على GPU لديك مقارنةً بـ Qwen3-4B العادي. وإذا لم ترتفع السرعة، فسيبقى Concertina وسيلة لجعل النموذج أصغر في الذاكرة، لا أسرع. ومع ذلك، تبقى الفكرة نفسها دالّة: 22 مليار توكن من التقطير مقابل 36 تريليون توكن من التدريب الكامل يشيران إلى أن ضغط نموذج مدرَّب قد يكون أرخص بكثير من تنمية نموذج صغير من الصفر.
- 12 نوفمبر 2026وكلاء الذكاء الاصطناعي يعيدون فحص أكثر من 2000 ورقة بحثية في ICML 2026 ويكشفون أخطاء فاتت المراجعين
- 12 نوفمبر 2026ثماني دول وOpenAI وAnthropic تعد بـ«زر إيقاف طارئ» لنماذج الذكاء الاصطناعي، لكن بلا مواعيد ولا غرامات
- 12 نوفمبر 2026Hugging Face تحذّر: موجة الاختراقات قد تجعل الذكاء الاصطناعي مفتوح المصدر أقل انفتاحًا
- 12 نوفمبر 2026OpenAI تبني «غرفة التحكم»: مفتاح إيقاف طارئ للنماذج التي خرجت من البيئة المعزولة
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف يُطوى النموذج كالأكورديون؟
اعتمد مؤلفو ورقة «Folding Language Models into Themselves» على Qwen3-4B. استبدلوا كل زوج من الطبقات المتجاورة بكتلة مشتركة واحدة تُنفَّذ مرتين متتاليتين. تؤخذ المصفوفات المشتركة من الطبقة الأولى في الزوج، ويبقى عمق الشبكة كما هو: 36 طبقة، أي 18 كتلة فريدة بمرورين لكل منها. تخيّل موظفَين متجاورَين يؤديان عملًا متقاربًا جدًا. بدل أن تُبقي على وظيفتين، توظّف شخصًا واحدًا وتطلب منه تنفيذ المهمة مرتين، مع تعديل بسيط في المرة الثانية.
ما أبرز التفاصيل حول ماذا أظهرت الاختبارات؟
قارن الباحثون بين المعلّم Qwen3-4B، ونموذج Qwen3-1.7B (دُرّب على 36 تريليون توكن، أي ما يقارب 1 600 ضعف حجم البيانات)، ونموذج Concertina-2,27B. يتفوق Concertina على Qwen3-1.7B في ستة من ثمانية مؤشرات: متوسط الدرجات في سبعة اختبارات أساسية base-7 (58,0% مقابل 56,2%)، وMMLU-Pro (30,1% مقابل 29,7%)، وGPQA ذي الأسئلة بمستوى الدراسات العليا (30,8% مقابل 29,3%)، وBBH للمنطق المعقّد (40,0% مقابل 36,3%)، وGSM8K لرياضيات المدرسة (78,8% مقابل 71,0%)، وMATH (49,8% مقابل 46,0%).
ما أبرز التفاصيل حول ما الذي يتوفّر وما الذي لا يتوفّر؟
ينخفض وزن النموذج بصيغة bf16 من 8,0 إلى 4,5 غيغابايت. وبالنسبة إلى الأجهزة التي تكون فيها ذاكرة الأوزان هي العائق الأساسي، فالمكسب واضح فورًا: النموذج الذي لم يكن يتسع سابقًا صار يتسع الآن. لكن الصورة أعقد في بقية الجوانب. فالعمق الفعلي بقي 36 طبقة، ولذلك فإن KV-cache مماثل لما في Qwen3-4B. وعلى الأرجح فإن الحسابات لكل توكن مماثلة تقريبًا أيضًا، لأن كل كتلة مشتركة تُنفَّذ مرتين.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.