باحث دكتوراه من ستانفورد يشتق Transformer من الصفر انطلاقًا من مسألة ذاكرة واحدة

في 15 أكتوبر نشر باحث دكتوراه في علوم الحاسوب من ستانفورد تدوينة بطرح استفزازي: لو لم تكن ورقة «Attention Is All You Need» موجودة، فهل كنت ستتمكن من اشتقاق Transformer خطوة بخطوة انطلاقًا من سؤال واحد: كيف نجعل الآلة تحفظ أكبر قدر ممكن وتستخرج أي عنصر عند الطلب؟ وبعد تسع سنوات من صدور الورقة الأصلية، انتشر النص في وسائل الإعلام التقنية الصينية، ومنها Jiqizhixin. وفي الجزء المتاح من المصدر، اسم الكاتب وتفاصيل الاشتقاق مقتطعة، ولذلك يعرض ما يلي ما هو معروف عن صياغة المسألة نفسها وعن تاريخ الفكرة.

مسألة بدلًا من معمارية

يُشرح Transformer عادةً من الأعلى إلى الأسفل: هذه كتلة الانتباه، وهذه طبقة feed-forward، وهذه الترميزات الموضعية. أما التدوينة فتسير من الأسفل إلى الأعلى. فالصياغة الأصلية لا تتضمن كلمة «انتباه» إطلاقًا؛ فيها ذاكرة ومتطلب الوصول العشوائي فقط. وإذا أردت تخزين كمية كبيرة من المعلومات والرجوع إلى أي جزء منها، فإن الشبكة التكرارية ذات الحالة المخفية الواحدة تصطدم سريعًا بعنق زجاجة. فكل وصول يجب أن يمر عبر حالة مضغوطة، ويمر التدرج عبر عشرات الخطوات.

بعد ذلك يتشكل المنطق تقريبًا من تلقاء نفسه. نحتاج إلى مفاتيح تُحدَّد بها العناصر، وإلى قيم تُعاد. ونحتاج إلى اختيار ناعم بدلًا من الصارم كي يجري التدريب بالتدرج. ونحتاج إلى عدة «استعلامات» مستقلة إلى الذاكرة في وقت واحد، ومن هنا تأتي تعددية الرؤوس. ويجب إدخال ترتيب العناصر صراحةً ما دام التكرار لم يعد موجودًا. ولا يمكن تأكيد الخطوات الفعلية للاشتقاق في التدوينة استنادًا إلى المقتطف المتاح، لكن هذا المسار تحديدًا هو ما تفرضه صياغة المسألة.

ما التلميحات التي كانت في الأدبيات؟

يمكن التحقق من فكرة «المفاتيح كانت على الطاولة» عبر التواريخ. فقبل 2017 بوقت طويل، كانت كل التفاصيل اللازمة موجودة في المنشورات:

• 2014، Bahdanau وزملاؤه: انتباه جمعي (additive) في الترجمة seq2seq، حيث ينظر المفكك إلى جميع حالات المشفّر.
• 2014، Graves وزملاؤه، Neural Turing Machines: ذاكرة خارجية بعنونة بالمحتوى، قابلة للاشتقاق بالكامل.
• 2014–2015، Memory Networks وEnd-to-End Memory Networks: وصول ناعم إلى الذاكرة عبر عدة «قفزات».
• 2015، Luong وزملاؤه: انتباه ضربي (dot-product) مبسّط.
• 2015–2016: الوصلات المتبقية (ResNet) وlayer normalization، وبدونهما لا تتدرب الحزمة العميقة بثبات.

جمعت الورقة الأصلية لعام 2017 هذه العناصر وأزالت التكرارية بالكامل. وحقق المؤلفون الثمانية 28.4 BLEU على WMT 2014 English-German و41.8 BLEU على English-French. وتدرب النموذج الكبير نحو 3.5 يوم على ثمانية معالجات GPU من طراز P100، وهو بمقاييس العناقيد الحالية لا يكاد يُذكر.

لماذا تنتشر مثل هذه النصوص؟

لصيغة «هل كنت ستتمكن من ذلك؟» قيمة واضحة. فهي تحوّل المعمارية من قطعة يجب حفظها إلى سلسلة من القرارات الهندسية، يجيب كل منها عن قيد محدد. وهذا أنفع من إعادة سرد مخطط الورقة، ففهم الأسباب يفيد عند الحاجة إلى تعديل النموذج لا مجرد تشغيل نموذج جاهز. ومن هنا الاهتمام: لا يزال Transformer أساس معظم النماذج اللغوية الكبيرة تقريبًا، والحديث عن بدائل (state space models، والانتباه الخطي، والنماذج الهجينة) يتطلب فهم المسألة التي كان الانتباه الأصلي يحلّها تحديدًا.

كيف تستفيد من ذلك عمليًا؟

إذا كنت تعمل مع LLM أو تنوي البدء، فخذ صياغة التدوينة تمرينًا. اكتب أولًا على الورق ما يجب أن تفعله الذاكرة: تخزين الأزواج، والبحث بالتشابه، وإعادة مزيج موزون. ثم نفّذ انتباهًا أحادي الرأس في نحو 30–50 سطرًا بلغة PyTorch أو NumPy، وتحقق من أنه يعمل على مسألة بسيطة للنسخ أو البحث. بعد ذلك أضف التحجيم بالجذر التربيعي لبُعد المفتاح، والترتيب عبر الترميزات الموضعية، وعدة رؤوس. وفي كل خطوة أزل أحد المكونات وراقب ما ينكسر.

وعلى الفرق التي تقيّم بدائل Transformer أن تجري التمرين نفسه على المرشح: أي المسائل الفرعية (العنونة، وتوازي التدريب، وتكلفة السياق) يحلها بشكل أفضل، وما الذي يتنازل عنه مقابل ذلك. أما التدوينة نفسها فالأفضل قراءتها في الأصل، إذ لا يتوفر في المصدر سوى المقتطف التمهيدي.