كيف تعمل آلية الانتباه (attention) في الشبكات العصبية: أساس LLM وChatGPT
نشر موقع Habr مرجعًا مصغّرًا واضحًا عن attention في المحوّلات (transformers). يشرح النص باختصار كيف تُستخلص المتجهات Q وK وV من التضمينات (embeddings)، ولماذا يُقسَم الجداء السلمي على الجذر التربيعي للبعد، ولماذا تصبح الرموز سياقية بعد self-attention. ثم يعرض المؤلف مثالًا مبسّطًا بعبارة «كارينا تذهب إلى المتجر»، ويقارن بعد ذلك بين cross-attention وmulti-head attention باستخدام PyTorch.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
آلية الانتباه (attention) هي ما يتيح لـ ChatGPT وغيره من الشبكات العصبية تحديد الكلمات الأهم. وقد نشر موقع Habr شرحًا موجزًا لكيفية عمل هذه الآلية التي تقوم عليها نماذج LLM الحديثة والمحوّلات (transformers).
ما هو self-attention في الشبكات العصبية؟
self-attention آلية يحوّل فيها النموذج التسلسل المُدخَل إلى ثلاثة تمثيلات (Query وKey وValue)، ثم يقارن بينها ليحدد ديناميكيًا أي أجزاء المُدخَل أولى بالمعالجة في المهمة الحالية.
كيف تُستخدم attention في LLM؟
في نماذج LLM الحديثة، تتيح attention للنموذج اختيار الرموز (tokens) التي يمنحها ثقة أكبر عند معالجة النص، مما يحسّن فهم السياق والعلاقات بين الكلمات.
ما هي attention في الشبكات العصبية؟
هي آلية تتيح للنموذج أن يقرر ديناميكيًا أي الرموز أهم للمهمة الحالية، باستخدام تمثيلات Query وKey وValue.
ما أنواع attention التي يتناولها الدليل؟
self-attention وcross-attention وmulti-head attention، مع أمثلة على PyTorch.
أين تُستخدم آلية attention؟
في المحوّلات ونماذج LLM الحديثة، وهي الفكرة الأساسية التي يقوم عليها ChatGPT وClaude وغيرهما من النماذج اللغوية.
لماذا تُعدّ attention أساس ChatGPT وLLM؟
تتيح آلية الانتباه للمحوّلات معالجة تسلسلات الكلمات عبر اختيار الأجزاء المهمة من النص. وهذا ما تقوم عليه نماذج LLM الحديثة، ومنها ChatGPT، إذ يمكّنها من فهم السياق وتوليد إجابات وثيقة الصلة.
Executive AI Consulting, Custom Agents & Team Workshops
Work directly with Zhemal Khamidun at hamidun.com — enterprise AI architecture, production RAG & multi-agent systems, and executive training.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.