معمارة المُشفِّر–فاكك التشفير (Encoder–Decoder Architecture)

معمارة المُشفِّر–فاكك التشفير هي تصميم شبكة عصبية حيث يعيّن المُشفِّر المدخل إلى تمثيل كامن وفاكك تشفير منفصل يولد سلسلة المخرجات من ذلك التمثيل، مما يجعلها مناسبة جيداً لمهام مثل الترجمة والملخصات.

في الصيغة الأصلية للتسلسل-إلى-تسلسل (Sutskever et al.، 2014)، يكون المُشفِّر شبكة عصبية متكررة تقرأ المدخل الكامل وتنتج متجه سياق ثابت؛ فاكك التشفير هي شبكة عصبية ثانية تولد رموز المخرجات خطوة تلو الأخرى، شرط لذلك المتجه. آلية الانتباه (Bahdanau et al.، 2015) عممت هذا بالسماح لفاكك التشفير بالانتباه الانتقائي إلى جميع الحالات المخفية للمُشفِّر في كل خطوة فك تشفير، حل اختناق المعلومات في متجه سياق ذي حجم ثابت وحسّن الأداء بشكل كبير على التسلسلات الطويلة.

أعاد Transformer (Vaswani et al.، 2017) صيغة معمارة المُشفِّر–فاكك التشفير باستخدام الانتباه الذاتي والانتباه المتقاطع. تعالج مكدسة المُشفِّر سلسلة المدخل الكاملة بالتوازي، مما ينتج تمثيلات منصات السياق؛ مكدسة فاكك التشفير توليد رموز المخرجات بشكل انحداري، باستخدام الانتباه الذاتي السببي على مخرجاتها الماضية والانتباه المتقاطع على مخرجات المُشفِّر. يقاس هذا التصميم بكفاءة ويشكل أساس النماذج بما فيها T5 (Google، 2019)، BART (Meta، 2019)، و mT5 للإعدادات متعددة اللغات.

المعمارة مناسبة بشكل خاص للمهام حيث المدخلات والمخرجات مختلفة بشكل هيكلي: ترجمة آلية (اللغات الأصلية والمستهدفة)، الملخصات الاستخراجية (المقالة إلى الملخص)، التعرف على الكلام (يستخدم Whisper من OpenAI محول CNN للصوت وفاكك تشفير Transformer للنص)، وتعليق الصور (محول بصري، فاكك تشفير نصي). المُشفِّر يتعامل مع الفهم؛ فاكك التشفير يتعامل مع التوليد، وهذا الفصل بين الاهتمامات مفيد عندما تتطلب العمليتان أنماط انتباه مختلفة.

اعتباراً من 2026، تبقى نماذج المُشفِّر–فاكك التشفير المعيار لمهام التنبؤ المهيكلة. نماذج T5 وخلفاؤها متعددة اللغات يجري نشرهم في Google Search، وترجمة المستندات، وخطوط معالجة الملخصات. ومع ذلك، لتوليد اللغة المفتوح على نطاق واسع، تسلمت نماذج فاكك التشفير فقط لأن المعمارة أبسط للتدريب والتوسع. تقنيات تدقيق فعالة من حيث المعاملات غالباً ما تزاوج محول مُجمد مع رأس فاكك تشفير صغير للتكيف منخفض الموارد.