مطوّر سابق في Microsoft يشغّل نموذج ترانسفورمر على حاسوب PDP-11 بمعالج 6 ميغاهرتز وذاكرة 64 كيلوبايت

أظهر ديف بلامر، المطوّر السابق في Microsoft، أنه لا يمكن شرح نموذج الترانسفورمر بأبسط العبارات فحسب، بل يمكن أيضًا تشغيله فعليًا على عتاد يعود إلى أواخر سبعينيات القرن الماضي. وتختزل تجربته على الحاسوب المصغّر PDP-11 بمعالج 6 ميغاهرتز وذاكرة عشوائية 64 كيلوبايت الحديثَ عن الذكاء الاصطناعي إلى صورة واقعية: التدريب هو كمٌّ كبير من العمليات الحسابية والتكرار والتحسين الدقيق.

حاسوب قديم ومهمة جديدة

يُعرف بلامر بوصفه مطوّرًا شارك في الماضي في بناء مكوّنات مهمة في Windows. وفي فيديو جديد، لم يلجأ إلى حيلة حنينية لجذب الإعجابات، بل أراد إيضاح المبدأ الأساسي الذي تقوم عليه النماذج الحديثة. ويتمحور التجربة حول نظام PDP-11 البالغ من العمر 47 عامًا، أي جهاز من حقبة لم يكن أحد يحلم فيها حتى بنماذج اللغة الكبيرة.

وهذا التباين هو ما يمنح المشروع قوته الإقناعية: فإذا أمكن تدريب نسخة مبسّطة من الترانسفورمر على جهاز كهذا، فإن جوهر الفكرة أبسط بكثير مما يبدو في ظل مراكز البيانات وميزانيات المليارات.

وعلى PDP-11 عمل نموذج Attention 11 الذي كتبه بلغة التجميع الخاصة بـ PDP-11 المطوّر داميان بوريه. والمهمة الموكلة إليه متواضعة في الظاهر فقط: أخذ تسلسل من ثمانية أرقام وإخراجه بترتيب معكوس. والمهم هنا ليس حفظ بضعة أمثلة، بل التقاط قاعدة تنجح مع مدخلات جديدة. وعلى هذه النقطة بالذات يركّز بلامر: حتى في هذا السيناريو التجريبي، يجب أن يتعلّم النموذج البنية، لا أن يكتفي بتخمين الإجابة التالية اعتمادًا على نمط جاهز.

كيف جرى تقليص النموذج

ولكي تكون للتجربة فرصة للنجاح أصلًا، اضطر المطوّرون إلى ضغط البنية إلى أقصى حد. فـ Attention 11 ليس نسخة مصغّرة من ChatGPT، بل ترانسفورمر من طبقة واحدة وآلية انتباه واحدة، بلغ حدّ الاقتصاد الهندسي الأقصى. ولا يضم النموذج سوى 1216 معاملًا. وبدلًا من مصفوفات الذاكرة والمسرّعات المعتادة في مشاريع الذكاء الاصطناعي الحديثة، استُخدمت حسابات بفاصلة ثابتة، وجرى تقليص التمرير الأمامي إلى دقة 8 بت. وهو في جوهره هيكل تعليمي للترانسفورمر، لم يُترك فيه سوى الحد الأدنى اللازم لعرض عملية التدريب نفسها.

• 1216 معاملًا بدلًا من المليارات
• حسابات بفاصلة ثابتة
• دقة 8 بت للتمرير الأمامي
• تحسين كل دورة تقريبًا من دورات المعالج
• مهمة تقوم على استخلاص قاعدة، لا على حفظ الأمثلة

ومع ذلك، لم تكن النتيجة شكلية رغم هذه القيود. فقد أفاد بلامر بأن النموذج بلغ دقة 100 % بعد نحو 350 خطوة تدريب. واستغرق ذلك قرابة ثلاث دقائق ونصف على نظام PDP-11/44 المزوّد ببطاقة ذاكرة تخزين مؤقت. وبمقارنة هذه السرعة بوحدات GPU الحديثة، فهي بالطبع سرعة متحفية. لكن بالنسبة إلى جهاز بمعالج 6 ميغاهرتز وذاكرة عشوائية 64 كيلوبايت، فإن حدوث تدريب كامل أهم من الزمن المطلق: فالتجربة تثبت أن مبادئ الترانسفورمر لا تحتاج إلى سحر، بل إلى موارد وهندسة جيدة.

ليس سحرًا بل رياضيات

لم يكن الهدف الرئيس من المشروع العثور على بديل عملي مفيد للنماذج الحديثة. فقد حاول بلامر أن يُظهر أمرًا أقل إرضاءً للحالمين: ليس في أساس الذكاء الاصطناعي أي شعلة مقدّسة. هناك حلقة من الأخطاء والتصحيحات والتكرارات، تتكيّف فيها الأوزان تدريجيًا مع المهمة. ولذلك يعمل عرضه كترياق ضد تحويل الشبكات العصبية إلى لغز غامض. فهو يزيل طبقة التسويق ويُبقي على الآلية العارية، التي يمكن مراقبتها تقريبًا لقطةً بلقطة.

«من التخمين إلى المعرفة». بهذه العبارة يصف بلامر اللحظة التي يتوقف

فيها النموذج عن التعثر ويبدأ بتطبيق القاعدة التي اكتشفها بثبات.

وهنا يكمن أكثر تأثيرات التجربة إثارة للاهتمام: فالمشاهد لا يرى إجابة ذكية جاهزة، بل يرى ولادة القدرة عبر تصحيحات متتالية. وفي سياق الحديث عن AGI، يبدو ذلك مُنعشًا للعقل. فالأنظمة الحديثة ليست مبهرة لأنها تخرق قوانين الحوسبة، بل لأن الآلية نفسها تعمل بنطاق هائل: على بيانات ونماذج وعناقيد حوسبة أكبر بما لا يُقاس.

ماذا يعني ذلك

لا تثبت تجربة PDP-11 إمكانية نقل ChatGPT إلى حاسوب قديم. لكنها تُظهر بوضوح كبير أمرًا آخر: الأفكار الأساسية للترانسفورمر مضغوطة بما يكفي لفهمها وإعادة إنتاجها وتدريبها حتى على عتاد عتيق. وبالنسبة إلى السوق، فهذه حجة إضافية لصالح النماذج الصغيرة الفعّالة والتحسين الدقيق، خصوصًا الآن، حين تتحول تكلفة الحوسبة إلى عامل تنافسي مستقل.