تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارApple ML Research→ المصدر

Apple ML Research تقترح MemoryLLM — «ذاكرة» قابلة للتفسير لنماذج المحوّلات

نشرت Apple ML Research ورقة بحثية عن MemoryLLM، وهي طريقة تفصل كتل التغذية الأمامية (FFN) عن آلية الانتباه الذاتي في نماذج المحوّلات. ويقترح الباحثون النظر إلى FFN بوصفها «ذاكرة استرجاع عصبية»: كل رمز (توكن) يصل إلى خلايا داخل معاملات الشبكة. وتبحث الدراسة في مدى أهمية هذه الذاكرة لمهام مختلفة، وفي الكيفية التي تخزّن بها النماذج المعرفة.

معالج بواسطة الذكاء الاصطناعي من Apple ML Research؛ بتحرير Hamidun News
Apple ML Research تقترح MemoryLLM — «ذاكرة» قابلة للتفسير لنماذج المحوّلات
المصدر: Apple ML Research. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليApple ML Research ↗
رئيس التحرير
حقيقة رئيسية #1كيف تصل رموز إدخال بعينها إلى «خلايا» بعينها داخل معاملات FFN؛
حقيقة رئيسية #2مدى أهمية ذاكرة FFN لمهام مختلفة في المراحل اللاحقة (downstream)، مثل التصنيف والتوليد والإجابة عن الأسئلة؛
حقيقة رئيسية #3هل يمكن وصف سلوك FFN وصفًا قابلًا للتفسير، أم أنها ما زالت «صندوقًا أسود».

نشرت Apple ML Research ورقة بحثية بعنوان MemoryLLM، تصف طريقة لتحليل كتل التغذية الأمامية (FFN) في نماذج اللغة القائمة على المحوّلات. تُعامَل FFN في هذه الطريقة بوصفها «ذاكرة استرجاع عصبية خالية من السياق»، وتبحث الدراسة في كيفية وصول الرموز المُدخلة (التوكنات) إلى خلايا هذه الذاكرة وفي مدى أهميتها لمهام مختلفة.

لماذا تُسمّى FFN «ذاكرة» النموذج

تقوم نماذج اللغة الكبيرة على معمارية المحوّلات. تضم كل طبقة كتلتين رئيسيتين: آلية الانتباه الذاتي (self-attention) التي تقارن الرموز بعضها ببعض، وكتلة التغذية الأمامية (feed-forward network, FFN) التي ظل دورها غامضًا زمنًا طويلًا. يقترح مؤلفو MemoryLLM النظر إلى FFN بوصفها قاعدة بيانات عصبية: تخزّن معاملات الشبكة المعرفة، وتستعلم الرموز المُدخلة عن المعلومات المطلوبة وفق مبدأ «المفتاح — القيمة». ومن هنا جاء المصطلح «ذاكرة استرجاع عصبية خالية من السياق وموجَّهة بالرموز»: فكتلة FFN تعالج كل رمز بمعزل عن محيطه، ولا تستخدم معلومات عن الكلمات المجاورة. وقد نوقش تفسير مشابه لـFFN في أعمال أكاديمية سابقة، لكن MemoryLLM يحوّله إلى أداة تحليل محددة.

ماذا يبحث MemoryLLM بالتحديد

الفكرة المحورية هي الفصل (decoupling): يفصل المؤلفون FFN عن self-attention لدراسة المكوّنين كلًّا على حدة. ففي المحوّل القياسي يعمل المكوّنان معًا، ويصعب تمييز إسهام كل منهما. وفي إطار النهج المقترح تُدرس المسائل التالية:

  • كيف تصل رموز إدخال بعينها إلى «خلايا» بعينها داخل معاملات FFN؛
  • مدى أهمية ذاكرة FFN لمهام مختلفة في المراحل اللاحقة (downstream)، مثل التصنيف والتوليد والإجابة عن الأسئلة؛
  • هل يمكن وصف سلوك FFN وصفًا قابلًا للتفسير، أم أنها ما زالت «صندوقًا أسود».

يتيح الفصل طرح أسئلة أدق: أين تحديدًا في المعاملات يُخزَّن واقع معيّن، وكيف يصل النموذج إلى القواعد النحوية أو إلى المعرفة بالعالم، وهل تتغير «طبوغرافيا الذاكرة» بحسب المهمة.

لماذا يهم هذا الممارسين

تُعدّ قابلية التفسير إحدى أبرز المشكلات التي لم تُحلّ بعد في الذكاء الاصطناعي الحديث. تحقق نماذج اللغة نتائج لافتة، لكن آلية اتخاذها للقرارات غير شفافة. ويولّد ذلك مخاطر عند اعتمادها في مجالات حساسة كالطب والقانون والمالية. وإذا أمكن وصف FFN بوصفها ذاكرة يمكن التحكم بها، فإن ذلك يفتح عدة اتجاهات عملية:

  • تحرير المعرفة تحريرًا موضعيًا: حذف وقائع قديمة أو تصحيح أخطاء دون إعادة تدريب النموذج بالكامل؛
  • ضبط دقيق (fine-tuning) أكثر كفاءة: فمع معرفة المعاملات المسؤولة عن معرفة بعينها، يمكن تدريب الأجزاء المطلوبة من الشبكة فقط؛
  • التحقق من السلوك: التأكد من أن النموذج يعتمد على بيانات صحيحة، لا على شوائب (artifacts) في مجموعة التدريب.

ماذا يعني ذلك

ينسجم MemoryLLM مع اتجاه التفسير الآلياتي (mechanistic interpretability) الذي تطوّره Anthropic وDeepMind ومجموعات أكاديمية كبرى. وإذا ثبتت قابلية إعادة إنتاج الفصل بين FFN وself-attention وإمكانية تطبيقه عمليًا، فقد يدخل ضمن مجموعة أدوات تحليل نماذج اللغة.

ما هو MemoryLLM؟

MemoryLLM ورقة بحثية تصف طريقة لتحليل كتل التغذية الأمامية (FFN) في نماذج اللغة القائمة على المحوّلات: تُعامَل FFN بوصفها «ذاكرة استرجاع عصبية خالية من السياق» تصل الرموز المُدخلة إلى خلاياها.

ما المقصود بفصل FFN عن self-attention؟

الفصل (decoupling) هو عزل كتلة FFN عن آلية self-attention لدراسة المكوّنين كلًّا على حدة. ففي المحوّل القياسي تعمل هاتان الكتلتان معًا، ما يصعّب تمييز إسهام كل منهما؛ ويدرس MemoryLLM كتلة FFN المفصولة بوصفها ذاكرة موجَّهة بالرموز، بمعزل عن self-attention.

ما الاتجاهات العملية التي يفتحها هذا النهج؟

إذا أمكن تفسير سلوك FFN بوصفها ذاكرة يمكن التحكم بها، فإن ذلك يتيح تحرير المعرفة تحريرًا موضعيًا دون إعادة تدريب النموذج بالكامل، وضبطًا دقيقًا أكثر كفاءة لأجزاء محددة من الشبكة، والتحقق من أن النموذج يعتمد على بيانات صحيحة لا على شوائب في مجموعة التدريب.

القصة

أسئلة وأجوبة حول الخبر

ما هو MemoryLLM؟

MemoryLLM ورقة بحثية تصف طريقة لتحليل كتل التغذية الأمامية (FFN) في نماذج اللغة القائمة على المحوّلات: تُعامَل FFN بوصفها «ذاكرة استرجاع عصبية خالية من السياق» تصل الرموز المُدخلة إلى خلاياها.

ما المقصود بفصل FFN عن self-attention؟

الفصل (decoupling) هو عزل كتلة FFN عن آلية self-attention لدراسة المكوّنين كلًّا على حدة. ففي المحوّل القياسي تعمل هاتان الكتلتان معًا، ما يصعّب تمييز إسهام كل منهما؛ ويدرس MemoryLLM كتلة FFN المفصولة بوصفها ذاكرة موجَّهة بالرموز، بمعزل عن self-attention.

ما الاتجاهات العملية التي يفتحها هذا النهج؟

إذا أمكن تفسير سلوك FFN بوصفها ذاكرة يمكن التحكم بها، فإن ذلك يتيح تحرير المعرفة تحريرًا موضعيًا دون إعادة تدريب النموذج بالكامل، وضبطًا دقيقًا أكثر كفاءة لأجزاء محددة من الشبكة، والتحقق من أن النموذج يعتمد على بيانات صحيحة لا على شوائب في مجموعة التدريب.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…