مطوّر Strata يبني خريطة حيّة لـ 24,576 خبيرًا من MoE على GTX 1070

لم يعد تشغيل نموذج ضخم على بطاقة رسومات قديمة يثير دهشة أحد. أما أن يُظهر أحدهم ما يجري في الداخل أثناء هذا التشغيل فأمر أندر بكثير. فقد غاص مؤلف سلسلة المقالات عن Qwen3.8-Flash-Next (125 مليار معامل) وبطاقة GTX 1070، في نصه الثالث، داخل محركه الخاص Strata. وبنى تصويرًا حيًا لعمل الخبراء وحاول الإجابة عن سؤال: هل يتخصص الخبراء فعلًا بحسب المواضيع؟

تنبيه مهم: المقتطف المتاح لا يتضمن أرقامًا نهائية ولا استنتاجًا. نحن نعرف صياغة المسألة والبنية المعمارية وحقيقة أن المؤلف وجد في عمله خطأً منهجيًا. أما نتائج التجربة فليست في المقتطف، ولن نختلقها.

كيف تتسع 125 مليار معامل في 8 غيغابايت

Strata هو محرك استدلال (inference) لنماذج MoE (Mixture-of-Experts). في الشبكة الكثيفة المعتادة تعمل كل الأوزان لكل رمز. أما في MoE فلكل طبقة مجموعة من «الخبراء»، ولكل رمز لا تُفعَّل إلا مجموعة جزئية صغيرة، تُعرف بـ top-K.

يضم Qwen3.8-Flash-Next 48 طبقة، في كل منها 512 خبيرًا، أي 48 × 512 = 24,576 عقدة منفصلة. وفي كل خطوة يحسب جزء صغير منها فقط. لكن لا بد من تخزينها جميعًا، وهذا يعني مئات الغيغابايتات. ومثل هذه المجموعة لا تتسع في 8 غيغابايت من ذاكرة الفيديو في GTX 1070.

تحل Strata المشكلة بذاكرة مؤقتة تكيفية:

• الخبراء الأكثر «سخونة» يبقون دائمًا في VRAM؛
• أما الباقون فيُقرؤون من الذاكرة العشوائية أو من SSD عند الحاجة؛
• وتحدد الذاكرة المؤقتة من تُبقي ومن تطرد بحسب عدّاد وصول متناقص (decayed)، أي عدّاد تفقد فيه الاستدعاءات القديمة وزنها تدريجيًا.

ببساطة، هذه ذاكرة مؤقتة من نوع LRU/LFU لقطع من الشبكة العصبية. وتعتمد كفاءة هذا المخطط كليًا على مدى قابلية التنبؤ باختيار الموجّه (router) للخبراء. فإذا تركزت الاستدعاءات في نواة صغيرة، ارتفع معدل الإصابة (hit rate) وعمل النموذج بشكل مقبول. وإذا توزعت بالتساوي، صار كل شيء مرهونًا بسرعة SSD.

لماذا احتاج الأمر إلى «خريطة حيّة»

قبل ذلك لم يكن المؤلف يرى الآلية إلا عبر مؤشرات مجمّعة في المراقبة: كم خبيرًا في VRAM حاليًا، وما معدل الإصابة. وهذا وضع نموذجي في هندسة الاستدلال: لوحة المتابعة تقول إن كل شيء طبيعي أو غير طبيعي، لكنها لا تفسّر السبب.

يسدّ تصوير 24,576 عقدة في الزمن الفعلي هذه الفجوة تحديدًا. فيمكن أن نرى أي الخبراء يضيء عند أي رموز، وكيف تتشكل النواة الساخنة، وكيف تطرد الذاكرة المؤقتة البيانات وتعيد تحميلها. وبالنسبة لمطوّر حزمة الاستدلال، تعمل هذه الخريطة كمحلّل أداء (profiler) يُظهر أنماط الوصول ويساعد على فهم ما ينبغي تغييره في سياسة الطرد.

تخصص الخبراء والفخ المنهجي

لم يتوقف المؤلف عند هذا الحد وطرح سؤالًا شائعًا: هل يتخصص الخبراء بحسب المواضيع، كأن يكون لدينا مثلًا خبراء منفصلون للبرمجة والرياضيات والكلام المحادثي؟ الفكرة مغرية. فإذا وُجد التخصص أمكن تسخين الذاكرة المؤقتة مسبقًا بحسب نوع المهمة.

وفي منتصف الطريق اكتشف المؤلف نفسه واقعًا في خطأ منهجي «كاد يقود إلى استنتاج جميل لكنه خاطئ». وفي ماذا بالضبط تمثل هذا الخطأ، لا يظهر من المقتطف. لكن الفخاخ المعتادة في مثل هذه التجارب معروفة (وهذا تعليق عام منا وليس عرضًا لما في المقال):

• قد يستجيب الخبراء لسمات شكلية في الرمز، مثل اللغة أو حالة الأحرف أو التكرار أو الموضع في النص، لا للموضوع؛
• وبدون مقارنة ضابطة مع خط أساس، تبدو أي خريطة تنشيط «ذات معنى»؛
• وعيّنة صغيرة من الأوامر (prompts) تعطي عناقيد لافتة لكنها عشوائية.

ما الذي يمكن استخلاصه

أولًا: إذا كنت تشغّل MoE على عتاد محدود، فلا تنظر إلى متوسط معدل الإصابة فقط، بل إلى توزيع الاستدعاءات على الخبراء والطبقات. فهو الذي يبيّن هل تعمل الذاكرة المؤقتة على حمل العمل لديك.

ثانيًا: فرضية «الخبراء يتخصصون بحسب المواضيع» يجب اختبارها بمجموعات ضابطة وأنواع مختلفة من النصوص. فالتصوير الجميل ليس دليلًا.

ثالثًا: من المجدي بناء أدوات المراقبة (observability) للاستدلال مبكرًا. فالصندوق الأسود ذو المؤشرات المجمّعة يخفي المشكلات وفرص التحسين على حد سواء.

القيود واضحة. فهذا مشروع هاوٍ واحد على بطاقة رسومات قديمة واحدة، والاستنتاجات عن التخصص، بحسب صياغة المسألة نفسها، تستدعي الحذر. لكن بوصفه مثالًا على عمل هندسي أمين يروي فيه المؤلف علنًا خطأه الخاص، فإن هذه المادة تستحق القراءة كاملة.