بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
النماذجالمسرد

المحول (Transformer)

المحول هو معمارية شبكة عصبية مركزية في الانتباه الذاتي، الذي يتيح لكل موضع في سلسلة الانتباه مباشرة إلى كل موضع آخر في نفس الوقت، مما يتيح التدريب المتوازي بالكامل والنمذجة الفعالة للتبعيات الطويلة المدى في اللغة والصور والسلاسل الأخرى.

المحول (Transformer)
المحول (Transformer) · النماذج · Hamidun News

قُدمت معمارية المحول من قبل Vaswani وآخرين في Google Brain في ورقة 2017 'الانتباه هو كل ما تحتاج إليه'. ابتكارها المركزي هو الانتباه الذاتي متعدد الرؤوس: لكل رمز في سلسلة إدخال، يحسب النموذج مجموعاً موزوناً من التمثيلات من جميع الرموز الأخرى، حيث تعكس الأوزان (درجات الانتباه) الصلة المكتسبة بين أزواج الرموز. يسمح تشغيل رؤوس انتباه متعددة بالتوازي للنموذج بالتقاط أنواع مختلفة من العلاقات في نفس الوقت. لأن الانتباه يُحسب على السلسلة بأكملها في نفس الوقت وليس خطوة بخطوة، فإن المحول متوازي بالكامل عبر طول السلسلة، على عكس الشبكات المتكررة (RNNs، LSTMs) التي يجب أن تعالج الرموز بشكل متسلسل.

يتكون محول محدد قياسي أو فاك من طبقات متطابقة مكدسة، كل منها يحتوي على طبقة فرعية من الانتباه الذاتي متعدد الرؤوس، شبكة تغذية إلى الأمام موضع بموضع، اتصالات متبقية (skip) حول كل طبقة فرعية، وتطبيع الطبقة. بما أن الانتباه الذاتي غير حساس بطبيعته للموضع، يتم إضافة ترميزات الموضع (جيب/تمام ثابت أو تضمينات تم تعلمها) إلى تمثيلات الرموز لحقن ترتيب السلسلة. المعاملات المعمارية الرئيسية - عدد الطبقات والبُعد المخفي وعدد رؤوس الانتباه وعرض التغذية الأمامية - مع حجم بيانات التدريب وميزانية الحوسبة، تحدد إلى حد كبير قدرة النموذج.

أصبحت المحولات سائدة في معالجة اللغات الطبيعية مع BERT (Google، 2018) و GPT-2 (OpenAI، 2019)، ثم أظهرت نقلاً قوياً إلى رؤية الحاسوب مع Vision Transformer (ViT، Google، 2020)، وإلى علم الأحياء الهيكلية مع استخدام AlphaFold2 للانتباه على سلاسل الأحماض الأمينية والتمثيلات الزوجية (DeepMind، 2020). اعتباراً من عام 2026، كل نموذج لغة كبير رائد - GPT-4، Claude 3، Gemini 1.5، Llama 3، Mistral - هو نموذج محول متغير، كما هي معاملات الرؤية الرائدة والنماذج المتعددة الأوجه التي تجمع النصوص والصور والصوت والفيديو.

القيد العملي الرئيسي للانتباه الذاتي للمحول القياسي هو التكلفة الحسابية والذاكرة التربيعية فيما يتعلق بطول السلسلة، مما يجعل السياقات الطويلة جداً مكلفة. بحلول عام 2026، تعالج تقنيات متعددة هذا: أنماط الانتباه المتفرقة، تقريبات الانتباه الخطي، الانتباه ذو النافذة المنزلقة (Mistral)، والانتباه الدقيق المحسّن للأجهزة (FlashAttention). يتم دعم نوافذ السياق التي تتجاوز مليون رمز من قبل عدة نماذج إنتاج. البحث في خلفاء المعمارية - نماذج فضاء الحالة مثل Mamba، والمعماريات الهجينة من الانتباه / نماذج فضاء الحالة - تهدف إلى الجمع بين جودة النمذجة من المحولات مع التحجيم دون التربيعي.

مثال

“عندما يقدم المستخدم وثيقة تقنية مكونة من 50,000 رمز إلى Claude للتلخيص، المحول الكامن يعالج الوثيقة بأكملها في تمرير واحد للأمام مع كل جملة تنتبه مباشرة إلى كل جملة أخرى، لتنتج ملخصاً متماسكاً بدون فقدان المعلومات الذي التقطيع المتسلسل قد يسببه.

آخر الأخبار حول الموضوع

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent