عندما تتفوق نماذج اللغة الصغيرة على السرب: كيف رفع التقسيم إلى أقسام أداء نموذج ضعيف 4 مرات

لماذا نحتاج إلى النماذج الصغيرة، لكن ليس في أسراب

قضى مهندس التدفئة، رئيس قسم في مؤسسة تصميم هندسي يمتلك 14 عاماً من الخبرة، فصل الربيع في محاولة لبناء سرب انبثاقي من نماذج محلية ضعيفة. حملت التجربة اسم "الفطريات الخيطية" (Mycelium) — واستمد إلهامه من أبحاث البنى التبددية ومجموعات النماذج التي توزّع الأدوار بنفسها وتتفق على لغة تواصل مشتركة. لكن السرب لم ينجح: فعلى 200 مهمة من MBPP، لم يحل سوى 29% من المهام، في حين حل نظام best-of-N البسيط الذي تقدّم فيه النماذج عدة محاولات 52% منها. ومع ذلك، اكتشف في الطريق أن فكرة واحدة من مكتب التصميم تتحمل عبءاً هائلاً.

جرت جميع التجارب على بطاقة GTX 1660 SUPER بذاكرة 6 جيجابايت. واضطر الكاتب لاستخدام نماذج صغيرة جداً بالفعل: qwen2.5-coder-1.5b، qwen3-1.7b، llama-3.2-1b، internvl3-2b، gemma-3-1b وsmollm2-1.7b. وبسبب قيود الذاكرة، كان لا بد من الاحتفاظ بعدة نماذج في الذاكرة في الوقت نفسه وتشغيلها آلاف المرات. كتب العمال الذكاء الاصطناعي كامل كود التجارب، بينما حدد الكاتب المهام وتدقّق في الأرقام.

بنية مكتب التصميم بدلاً من السرب

جاءت الفكرة من قصة ألبرت كان، المهندس المعماري الأمريكي الذي صمم مصانع لشركة فورد. وفي الفترة بين عامي 1929 و1932، صمم مكتبه نحو 500 مصنع للاتحاد السوفيتي، من بينها مصنع ستالينغراد للجرارات. ويُقال إن معاهد التصميم السوفيتية نشأت من مكتبه في موسكو. ويعيش الكاتب يومياً داخل هذا الهيكل التنظيمي.

يقسّم كبير مهندسي المشروع الكائن إلى أقسام: التدفئة، الكهرباء، الإنشاءات، الأتمتة — ويتولى كل قسم إدارة مجاله. ويُفحص القسم المكتمل داخلياً (الفحص داخل التخصص). ثم تُقارن الأقسام فيما بينها عند نقاط التلاقي (الفحص بين التخصصات) — إذ يملك قسم مضخة، ويجب أن يوفر قسم الإنشاءات أساساً لها، ويجب أن يتطابق الاثنان. وتُرفع النقاط الخلافية إلى المتخصص الرئيسي. وفي النهاية، يراجع قسم مراقبة المعايير الشكل، وبعد ذلك فقط ترسل الملفات إلى العميل. لا يحتفظ أحد بالمحطة كاملة في ذهنه — فهي لا تتسع لذلك. ويجد النموذج الصغير الذي يُعطى 18 سجلاً ويُطلب منه إيجاد السجلات المطلوبة نفسه في موقف مشابه تماماً.

ما الذي جرى اختباره

في 40 مهمة اختبار، كان على النماذج البحث عن جميع المعاملات التي تطابق فئة معينة وإقليماً معيناً في الوقت نفسه، ضمن مجموعة من 18 سجلاً. وتراوح عدد السجلات المطابقة بين 2 و5، مع وجود مصائد قريبة — سجلات تحمل الفئة الصحيحة لكن الإقليم الخاطئ، وأخرى بالعكس، بمعدل 2 إلى 4 سجلات من كل نوع. وكان على النموذج تقديم قائمة المعرّفات المطابقة فقط، مفصولة بفواصل، دون أي تفسير، وتحديد المجموعة الصحيحة تماماً — بلا زيادة ولا نقص.

النماذج المستخدمة بصيغة GGUF: qwen2.5-coder-1.5b-instruct (Q4_0)، llama-3.2-1b-instruct (Q4_0)، qwen3-1.7b (Q4_0)، internvl3-2b (Q4_K_M)، gemma-3-1b-it (Q5_K_S)، smollm2-1.7b-instruct (Q4_K_M). وأُخذت الإجابات على القائمة الكاملة من القرص الصلب من تجارب سابقة، لاستبعاد تفاوت التوليد. وبلغ إجمالي عدد الاستدعاءات 720 استدعاءً، استغرقت 614 ثانية على بطاقة GTX 1660 SUPER.

النتائج: التقسيم إلى أقسام

حتى بدون تقسيم، كان التوزيع السيئ حسب الموقع واضحاً: عُثر على السجل الأول في 61% من الحالات، والسجل الأخير في 21% فقط. افترض الكاتب في البداية أن النموذج يميل بالقرب من نهاية القائمة إلى الإجابة بـ"لا" أكثر، لكن بعد التحقق، تبيّن أنه مخطئ. فقرب نهاية القائمة، يصبح النموذج أكثر تقتيراً بشكل طفيف (0.21 مقابل 0.50 في البداية)، لكنه يميّز بشكل أسوأ بكثير بين السطور المتشابهة. فهو يجد عدداً أقل من السجلات الصحيحة (0.30 مقابل 0.50)، كما ترتفع نسبة العلامات الخاطئة بين السجلات غير المطابقة (0.16 مقابل 0.14).

ثم قُسّمت 18 سجلاً بواسطة سكريبت إلى 3 كتل من 6 سجلات متتالية — مع الحفاظ على الترتيب داخل كل كتلة. وقرأ كل من النماذج الستة كل كتلة على حدة. وإذا ذكر النموذج معرّفاً لا ينتمي إلى كتلته، اعتُبر ذلك اختراعاً، وتجاهله الكود (رُصد 5 حالات اختراع فقط خلال كامل التشغيل). ولم يُحتسب التصويت لسجل معين إلا من الكتلة التي يقع فيها فعلياً.

النتائج بحسب التطابق التام (ذكر النموذج المجموعة الصحيحة تماماً):

| النموذج | بدون تقسيم | مع كتل من 6 | الزيادة | |--------|-----------|-----------------|----------| | qwen2.5-coder-1.5b | 17.5% | 70% | +52.5 نقطة مئوية | | llama-3.2-1b | 40% | 72.5% | +32.5 نقطة مئوية | | internvl3-2b | 57.5% | 82.5% | +25 نقطة مئوية | | qwen3-1.7b | 72.5% | 85% | +12.5 نقطة مئوية | | gemma-3-1b | 0% | 5% | +5 نقطة مئوية | | smollm2-1.7b | 0% | 0% | 0 نقطة مئوية |

وكلما كان النموذج أضعف، كانت الزيادة أكبر. وانخفض الفارق بين بداية القائمة ونهايتها من 20 نقطة مئوية إلى 2 نقطة مئوية فقط. وعلى القائمة الكاملة، كان معدل الاستدعاء (recall) في نهاية القائمة 0.30، وبعد التقسيم أصبح 0.57.

وهم الانبثاق

كان الهدف الرئيسي هو البحث عن الانبثاق — أي حالة تكون فيها الإجابة المجمّعة صحيحة بينما لم ينجح أي نموذج بمفرده في الوصول إليها. وبحسب الصياغة الأولية غير الدقيقة، بلغ عدد الحالات 34 مهمة من 40. وكاد الكاتب يفتح زجاجة الاحتفال، لكنه قبل ذلك تحقق من طبيعة المقارنة بالضبط. فمن جهة، كان هناك خط الأنابيب الكامل: الكتل، والفحص، والتصويت، والتجميع. ومن جهة أخرى، كان هناك نموذج منفرد أُعطي جميع السجلات الثمانية عشر دفعة واحدة. وبما أن الشروط مختلفة، فإن هذه المقارنة لا تعني شيئاً.

وعند إجراء مقارنة عادلة (تمرير أفضل نموذج qwen3-1.7b عبر خط الأنابيب نفسه مع الكتل)، يحقق هذا النموذج 0.850. وتحقق النماذج الستة معاً 0.900. ويحقق "الوسيط الكامل" (نجاح نموذج واحد على الأقل من الستة) 0.975. وتبيّن أن الانبثاق الصارم كان صفراً: لم تتجاوز الإجابة المجمّعة قط ما كان أحد النماذج على الأقل قادراً على تحقيقه بمفرده. ولم يضف السرب سوى 5 نقاط فقط إلى أفضل نموذج منفرد.

عنصر واحد فقط من سبعة نجح

لم يحمل العبء سوى التقسيم إلى أقسام. وفيما يلي ما قدمه كل عنصر: كبير مهندسي المشروع الذي يقسّم الكائن إلى أقسام (تقسيم 18 سجلاً إلى 3 كتل من 6) — قدّم كل شيء تقريباً: انخفض الفارق من 0.20 إلى 0.

02، وارتفع التطابق التام من 0.75 إلى 0.90.

المنفذون (6 نماذج لكل كتلة) — أضافوا 0.05 فقط فوق أفضل نموذج منفرد. الفحص داخل التخصص (رفض أي معرّف لا ينتمي إلى كتلته) — رصد 5 حالات اختراع.

الفحص بين التخصصات (المقارنة عند نقاط تلاقي الكتل) — لم يكن له فائدة لأن الكتل مستقلة ولا يوجد ما يُقارَن. مراقبة المعايير (فحص الشكل) — لم تُرصد أي أخطاء. المتخصص الرئيسي (سؤال دقيق حول سطر واحد) — لم يكن ضرورياً.

المراجعات (إعادة الدورة عند عدم الثقة في الإجابة) — لم تكن ضرورية.

والاستنتاج العملي هو: قسّموا النماذج الصغيرة إلى قطع عندما تزوّدونها بحزمة من الوثائق أو قائمة طويلة. وفي هذه التجربة، كان الحجم الأمثل 6 سجلات لكل كتلة — إذ كانت المواضع الست الأولى هي الأفضل من حيث العثور على السجلات. والتقسيم حسب الرموز (tokens) يكاد يكون مجانياً: فثلاث قطع، كل منها ثلث الحجم، تمنح نفس الحجم الإجمالي بالإضافة إلى ثلاث رؤوس للمطالبة (prompt). وتصبح الاستدعاءات ثلاث مرات أكثر، لكنها أقصر. أما السرب المكوّن من ستة نماذج فوق ذلك، فيكلف ست مرات أكثر ولا يحقق سوى 5 نقاط إضافية. ولا يوافق الكاتب على هذه المقايضة، لكن الأداة — التقسيم إلى أقسام — تعمل بالفعل.