Quanta Magazine تبحث لماذا أصبح الانتباه جوهر نماذج LLM بعد ورقة 2017

ثمانية مؤلفين، وورقة واحدة من عام 2017، ومعادلة في سطر واحد: softmax(QK^T/√d)V. تقع هذه العملية في أساس معظم النماذج اللغوية الكبيرة. ويطرح عمود نشرته Quanta Magazine في 12 أكتوبر 2026 سؤالًا: لماذا كان الانتباه تحديدًا مفتاح معالجة اللغة على نطاق واسع، وهل يمكن اعتباره جوهر الذكاء؟

لا تتضمن الإشارة التعريفية إلى العمود إجابة، بل مجرد طرح للسؤال. لذلك نستعرض أدناه الخلفية التقنية التي يدور عليها هذا الجدل. أما استنتاجات الكاتب فاقرؤوها في المقال الأصلي.

من أين جاءت المعادلة

فكرة الانتباه أقدم من ترانسفورمر. ففي عام 2014 طبّق بهداناو وتشو وبنجيو آلية مشابهة في نموذج تكراري للترجمة الآلية: كان المفكِّك (decoder) يستطيع، عند توليد كل كلمة، أن «ينظر» إلى أجزاء مختلفة من الجملة المصدر. وظلت الشبكة التكرارية هي الأساس، بينما كان الانتباه طبقة إضافية فوقها.

وفي عام 2017 حذف مؤلفو Attention Is All You Need من Google التكرارية بالكامل. وبقيت طبقات يبني فيها كل توكن استعلامًا (query)، ويقارنه بمفاتيح (keys) جميع التوكنات الأخرى، ثم يأخذ المجموع الموزون لقيمها (values). وعلى اختبار الترجمة WMT 2014 حققت النسخة الكبيرة من النموذج 28,4 BLEU لزوج الإنجليزية–الألمانية و41,8 للإنجليزية–الفرنسية.

لماذا يتوسع الانتباه بكفاءة

تكمن الميزة الرئيسية في معالجة التسلسل كاملًا بالتوازي. فالشبكة التكرارية تقرأ النص خطوة بخطوة، وتبقى وحدات GPU خاملة أثناء ذلك. أما الانتباه فيُختزل إلى عمليات ضرب مصفوفات كبيرة، وهي ما صُممت له المسرّعات الحديثة. بيانات أكثر، ومعاملات أكثر، ورقائق أكثر: هذه المعادلة منحت تحسنًا في الجودة يمكن التنبؤ به.

السبب الثاني هو المرونة. فأوزان الانتباه تُحسب من المدخل نفسه، ولذلك لا يضعف الارتباط بين كلمة في بداية الفقرة وأخرى في نهايتها على الطريق، كما كان يحدث في المعماريات التكرارية القديمة.

أبرز أرقام الورقة الأصلية:

• 8 مؤلفين، ومؤتمر NeurIPS 2017؛
• النموذج الأساسي: نحو 65 مليون معامل، وتدريب لنحو 12 ساعة على 8 GPU من نوع NVIDIA P100؛
• النموذج الكبير: نحو 213 مليون معامل، و3,5 أيام على 8 GPU نفسها؛
• النتيجة: 28,4 BLEU (EN→DE) و41,8 BLEU (EN→FR)؛
• للمقارنة، كان لدى GPT-3 في عام 2020 نحو 175 مليار معامل وسياق بطول 2048 توكن.

ثمن العمومية

للانتباه نقطة ضعف: كل توكن يُقارن بكل توكن آخر. ويزداد الزمن والذاكرة طرديًا مع مربع طول السياق. فإذا ضاعفت السياق، تضاعفت الحسابات في هذا الجزء أربع مرات.

وتردّ الصناعة بالحلول الهندسية. فـ FlashAttention (2022) لا يغيّر الرياضيات، بل يعيد تنظيم العمل مع ذاكرة GPU، ويعطي نتيجة دقيقة بسرعة أكبر. وفي الوقت نفسه تتطور أشكال الانتباه المتناثر والخطي، إضافة إلى الهجائن مع نماذج فضاء الحالة. وهذه المقاربات توفّر في الحسابات، لكنها كثيرًا ما تتخلف عن الانتباه الكلاسيكي في الجودة على المهام المعقدة.

كيف نقرأ هذا الجدل عمليًا

يحسن تقسيم عبارة «الانتباه هو جوهر الذكاء» إلى ادعاءين. الأول يمكن التحقق منه: فقد تبيّن أن الانتباه وحدة حسابية أساسية ناجحة بصورة استثنائية للتعلّم من النصوص. والثاني فلسفي: أما ما يترتب على ذلك في فهم العقل فيبقى موضع نقاش، وقد جعلته Quanta عنوان العمود.

أما بالنسبة إلى المهندسين فالخلاصة عملية. إذا كنتم تختارون معمارية أو تقيّمون بنية تحتية، فلا تحسبوا المعاملات وحدها، بل احسبوا طول السياق أيضًا: فالجزء التربيعي يحدد تكلفة الطلبات الطويلة وخطوط RAG والوكلاء ذوي الذاكرة الكبيرة. وإذا كنتم تتابعون الأبحاث، فانظروا إلى الأعمال التي تقارن بدائل الانتباه بترانسفورمر عند ميزانية حسابية متساوية. وحتى الآن يبقى ترانسفورمر نقطة المرجع.