مهندس ميكانيكا حرارية يجمع سربًا من ست نماذج LLM صغيرة: تقسيم المهمة إلى أقسام رفع أداء النموذج الضعيف ×4

في الربيع، قرر رئيس قسم في منظمة تصميمية، وهو مهندس ميكانيكا حرارية بخبرة 14 عامًا في التصميم، أن ينشئ من نماذج محلية ضعيفة سربًا يكون أذكى من أقوى نموذج فيه. لم يعمل مبرمجًا يومًا، ولا يتعامل مع الشبكات العصبية منذ أكثر من عام. لم يصبح السرب أذكى. لكن القياس أظهر أن العنصر الوحيد الذي يتحمل العبء من كل الهيكل التنظيمي لمعهد التصميم هو تقسيم المهمة إلى أقسام. فقد منح هذا التقسيم النموذج الضعيف زيادة بنحو أربعة أضعاف، بينما أضاف السرب ككل، بحسب عنوان المؤلف، نحو خمس نقاط.

ننبه إلى أن المصدر لا يتيح سوى إعلان المنشور على Habr، دون جداول أو منهجية. ما يلي عرض لما ورد في الإعلان، أما الأرقام ووحداتها فينبغي مطابقتها مع النص الكامل.

معهد بدلًا من سرب

الفكرة مفهومة لكل من عمل في منظمة تصميمية. لا يحل المهمة شخص واحد. هناك مدير مشروع، وأقسام مسؤولة عن الأقسام الفنية، ومراجعون، وإجراءات موافقة. وزّع المؤلف ست نماذج صغيرة وفق هذا الهيكل، ثم راقب أي العناصر تعطي نتيجة، وأيها لا يضيف سوى مراسلات بين الوكلاء.

كانت الفرضية نمطية في تجارب الأنظمة متعددة الوكلاء: إذا جُمع عدد كبير من المنفذين الضعفاء ووُضعت فوقهم حلقة إدارة، فإن الجودة الإجمالية ستتجاوز جودة أفضل مشارك. هذه الفرضية لم تتأكد. فالسرب لم يتفوق على أقوى نموذج من بين أعضائه.

ماذا أظهر القياس

النتيجة السلبية هنا أنفع من الإيجابية. فالمؤلف لم يكتفِ بالقول إن السرب أخفق، بل حدد آلية بعينها تعمل. أبرز ما ورد في الإعلان:

• التركيبة: ست نماذج محلية صغيرة متفاوتة القوة.
• الهدف: الحصول على سرب يتفوق على أقوى نموذج في المجموعة. لم يتحقق.
• تقسيم المهمة إلى أقسام: منح النموذج الضعيف زيادة بنحو ×4.
• السرب ككل: نحو خمس نقاط بحسب العنوان. وحدات القياس غير مذكورة في الإعلان.
• عدم التماثل: النموذج الضعيف يستفيد من التقسيم أكثر من القوي.

ثمة تفسير معقول، وهو تفسيرنا نحن وليس اقتباسًا من المؤلف: النموذج الصغير يعجز عن الاحتفاظ بشرط طويل يتضمن عدة متطلبات في آن واحد. وحين يُسلَّم قسمًا واحدًا ضيقًا بمدخلات ومخرجات واضحة، ينجز مهمة كان ينهار أمامها سابقًا. أما النموذج القوي فمخزونه من السياق والاستدلال أكبر، ولذلك يفيده التجزئة بدرجة أقل. ويبدو أن دور «المراجع» المستعار من المعهد وبقية طبقات الموافقة لم تضف شيئًا، أو أضافت أقل بكثير.

ماذا يعني ذلك عمليًا

بالنسبة لمن يبنون خطوط معالجة محلية على نماذج صغيرة، الخلاصة واقعية. قبل إقامة هرم من مدير ومنفذين ومراجعين، ينبغي اختبار أمر واحد: ما الذي يعطيه التقسيم البسيط للمهمة إلى أجزاء مستقلة بقوالب صارمة للمدخلات والمخرجات. هذا أرخص من التنسيق متعدد الطبقات من حيث التوكنات وزمن الاستجابة، وبحسب قياسات المؤلف فهو مصدر التأثير الرئيسي.

ثانيًا، ينبغي أن يكون خط الأساس للمقارنة أقوى نموذج متاح، لا متوسط نماذج السرب. فالسرب الذي لا يتفوق على أفضل مشارك فيه يدفع عمليًا ثمن استدعاءات زائدة دون مردود.

ثالثًا، يتعلق الأمر بالصيغة نفسها. إنها حالة نادرة يجري فيها التجربة شخص من قطاع مجاور، بنظرته الهندسية إلى تنظيم العمل. فمعاهد التصميم بحثت لقرون عن طريقة لتوزيع المسؤولية دون فقدان الجودة. أما ما ينتقل من هذه الخبرة إلى LLM وما لا ينتقل، فالأفضل البحث عنه في النص الكامل للمؤلف، إذ يُفترض أن تكون فيه المنهجية ومجموعة المهام وتفصيل النتائج حسب النموذج.