نموذج لغوي بكوادريليون معامل: متى يظهر؟ والجواب الأقرب هو «لن يظهر أبدًا»

لن تظهر نماذج بكوادريليون معامل (10^15) في المستقبل المنظور، فالقيود الفيزيائية والحسابية تجعل هذا الحجم بعيد المنال عمليًا في النموذج التقني الحالي.

إلى أي مدى نحن بعيدون عن الكوادريليون الآن؟

المسافة إلى هذا الرقم أكبر بألف ضعف مما يبدو. تعمل أفضل النماذج اللغوية في الفترة 2025–2026 بنطاق يتراوح بين مئات المليارات وعدة تريليونات من المعاملات. وبحسب تقديرات محللي SemiAnalysis، يعتمد GPT-4 على بنية Mixture of Experts (مزيج الخبراء) بإجمالي أوزان يبلغ نحو 1.76 تريليون، بينما يبلغ حجم Gemini Ultra من Google نحو 1.56 تريليون. وللوصول إلى الكوادريليون (10^15) يلزم النمو بنحو 700–1000 ضعف إضافي.

• نطاق النماذج الرائدة (frontier) اليوم: من ~100 مليار إلى ~2 تريليون معامل
• الكوادريليون (10^15) يتجاوز حجم GPT-4 بمقدار 700–1000 ضعف
• بحسب تقديرات المحللين، كلّف تدريب GPT-4 أكثر من 100 مليون دولار
• وفق الوثائق التقنية لشركة Meta*، تطلب تدريب Llama 2 70B نحو 539 ميغاواط·ساعة
• تخزين أوزان نموذج 1Q بصيغة int4 وحده يتطلب نحو 125 تيرابايت

لماذا لا يكفي «الانتظار» لتحقيق نمو بألف ضعف؟

لا يحتاج نموذج الكوادريليون إلى مزيد من المال فحسب، بل إلى فيزياء مختلفة جذريًا.

توفر وحدات GPU الرائدة من NVIDIA، مثل H100/H200، ما بين 80 و192 غيغابايت من الذاكرة لكل بطاقة. وحتى مع التكميم (quantization) العدواني بدقة 1 بت، سيحتاج نموذج 1Q إلى نحو 125 تيرابايت للأوزان فقط، من دون التنشيطات (activations) والتدرجات (gradients) والمُحسِّن (optimizer). أما بصيغة BF16 القياسية فيرتفع الرقم إلى نحو 2 بيتابايت. ويستلزم هذا الحجم بناء بنية تحتية مختلفة جذريًا، لا تملكها أي شركة في العالم.

«نشهد تباطؤًا في العائد من التوسع الخالص في عدد المعاملات، فالبيانات والكفاءة الحسابية أهم من الحجم الخام»، بحسب منشورات بحثية لفريق

DeepMind حول التحسين وفق نهج Chinchilla.

ويضاف إلى القيود الفيزيائية استهلاك الطاقة. وتشير التقديرات إلى أن تدريب نموذج 1Q بكفاءة الرقاقات الحالية سيتطلب من عشرات إلى مئات التيراواط·ساعة، وهو ما يقارن بالاستهلاك السنوي للكهرباء في دولة أوروبية متوسطة.

لماذا لن تكفي البيانات لنموذج بكوادريليون معامل؟

وفق دراسة DeepMind (Hoffmann et al., 2022)، يجب تدريب النموذج، لتحقيق تدريب مثالي من حيث الحوسبة (compute-optimal)، على نحو 20 رمزًا (token) لكل معامل. وبناءً على ذلك، يحتاج نموذج 1Q إلى التدريب على 20 كوادريليون رمز. وبحسب تقديرات بحثية متفاوتة، يبلغ مجموع النصوص الرقمية على الإنترنت نحو 10^13–10^14 رمز، أي أقل من المطلوب بمقدار 200–2000 ضعف.

تخفف البيانات الاصطناعية هذا القيد جزئيًا، لكن ليس بمقياس ألف ضعف، ولا من دون تدهور في الجودة عند التوليد الدوري المتكرر. وبعبارة أخرى، حتى لو وُجدت البنية الحسابية، فلن يكون هناك ما يُغذّى به نموذج كهذا.

ماذا يعني ذلك

نماذج LLM بكوادريليون معامل ليست مسألة وقت وتمويل، بل مسألة قيود جوهرية: فيزياء أشباه الموصلات، وحجم البيانات المتاحة، وتناقص العائد من التوسع. ولا يتجه تقدم القطاع نحو «نموذج واحد ضخم»، بل نحو بنى أكثر كفاءة، مثل Mixture of Experts وRetrieval-Augmented Generation (التوليد المعزز بالاسترجاع) وأنظمة الوكلاء المتخصصة.

الأسئلة الشائعة

ما حجم أكبر نموذج LLM مفتوح اليوم؟

حتى عام 2026، يبقى أكبر نموذج مفتوح بالكامل هو Grok-1 من xAI، بحجم 314 مليار معامل وبنية Mixture of Experts، وقد أُتيح للعموم في مارس 2024. أما النماذج الرائدة المغلقة لدى المختبرات الكبرى فتتجاوز 1 تريليون معامل بحسب تقديرات محللي SemiAnalysis.

هل سيساعد الحاسوب الكمومي في تدريب هذه النماذج؟

تتسم الحواسيب الكمومية بالكفاءة في فئة ضيقة من المهام، مثل تحليل الأعداد إلى عواملها ومحاكاة الجزيئات، لكنها لا تناسب ضرب المصفوفات الذي يقوم عليه تدريب المحولات (transformers). وفي المستقبل المنظور لن تحل الأنظمة الكمومية محل GPU وTPU في مهام تدريب LLM.

*تم الاعتراف بشركة Meta كمنظمة متطرفة وحُظر نشاطها في روسيا الاتحادية.