Deep Fusion Memory تقلّص عمليات البحث 32 مرة وتتفوق على خطوط الأساس بنسبة 12,7%

اقترح باحثون Deep Fusion Memory (DFM)، وهي ذاكرة بارامترية لنماذج اللغة الكبيرة تدمج المعرفة الخارجية في الحالات المخفية ولا تتطلب البحث في قاعدة البيانات أثناء توليد الإجابة. ويكلّف بناء بيانات التدريب لهذه الذاكرة أقل بـ32 مرة من حيث عدد طلبات البحث، وأقل بـ2048 مرة من حيث عدد العناصر المستخرجة، مقارنةً بالنهج البارامترية القائمة. وفي ست اختبارات QA، تتفوق DFM على أقوى خط أساس بنسبة 12,71% على Mistral-7B-v0.3 وبنسبة 11,19% على Qwen3-8B-Base.

ثلاث طرق لتعليم النموذج معرفة جديدة، ولكل منها ثمنها

المشكلة مألوفة لكل من نقل LLM إلى منتج تطبيقي: على النموذج أن يعرف ما لم يكن في مرحلة التدريب المسبق. ويشمل ذلك مستندات الشركات المغلقة، والأدبيات الطبية، والبيانات الحديثة. والطرق التقليدية تصطدم بمفاضلات. فالتدريب الإضافي على مدوّنة جديدة يعرّض النموذج لخطر النسيان الكارثي، أي أن يتعلم الجديد ويفقد القديم. أما RAG فيجلب المستندات فعلًا، لكن كل طلب يتحول إلى عملية بحث ويتضخم السياق، وهذه تكاليف مباشرة في زمن الاستجابة والتوكنات.

الطريق الثالث هو الذاكرة البارامترية الخارجية. تُخزَّن المعرفة في معاملات منفصلة قابلة للتدريب، ولا يوجد بحث أثناء التشغيل. لكن لهذا النهج عيبين تستهدفهما DFM. أولًا، يتطلب إعداد بيانات تدريب هذه الذاكرة بحثًا ضخمًا غير متصل بالإنترنت (offline)، لأن الأهداف تُبنى على مستوى التوكنات المنفردة. ثانيًا، تُدمج الذاكرة عادةً مع مخرجات النموذج عبر الاستيفاء على مستوى توزيع الاحتمالات. وهذا دمج سطحي: لا تؤثر المعرفة في طريقة «تفكير» النموذج داخل الطبقات.

متنبئ الذاكرة بدلًا من البحث

تنقل DFM العمل من مستوى التوكنات إلى مستوى المقاطع (chunks). يولّد متنبئ ذاكرة سببي (causal) متجه ذاكرة اعتمادًا على السياق السابق. ويتدرب على تضمينات (embeddings) المقاطع التي عُثر عليها في المدوّنة، وهي تؤدي دور إشارة الإشراف (supervision). والذاكرة المتنبَّأ بها مشتركة بين جميع التوكنات داخل المقطع الواحد، ولذلك تقل الطلبات الموجهة إلى المدوّنة بأضعاف. ومن هنا جاء التوفير بمقدار 32 مرة في الطلبات و2048 مرة في العناصر المستخرجة.

الجزء الثاني من التصميم هو الدمج العميق. تدخل الذاكرة إلى الحالات المخفية عبر gated cross-attention، أي عبر بوابة قابلة للتدريب تتحكم في مقدار المعرفة الخارجية المسموح بمرورها عند كل نقطة. يتدرب المتنبئ ووحدة الدمج معًا من البداية إلى النهاية، بينما يبقى النموذج الأساسي نفسه مجمَّدًا. ولا تُمَسّ قدراته الأصلية، وهذا يعالج مشكلة النسيان مباشرة. وأثناء الاستدلال لا يوجد أي بحث صريح: تُتنبَّأ الذاكرة انطلاقًا من السياق.

ماذا أظهرت القياسات

• ست مهام QA: +12,71% مقارنةً بأقوى خط أساس على Mistral-7B-v0.3.
• المهام نفسها على Qwen3-8B-Base: +11,19%.
• التكيّف مع المجالات: في المتوسط +6,51 نقطة على Qwen3-4B-Base و+4,38 على Qwen3-8B-Base.
• تكلفة بناء بيانات التدريب: طلبات بحث أقل بـ32 مرة وعناصر مستخرجة أقل بـ2048 مرة مقارنةً بالطرق ذات الأهداف على مستوى التوكنات.
• النموذج الأساسي (Backbone) مجمَّد، ولا حاجة إلى بحث أثناء الاستدلال.

لاحظوا الفرق في التكيّف مع المجالات: المكسب لدى النموذج ذي 4B أكبر منه لدى 8B. وهذا منطقي إذا كانت الذاكرة تعوّض نقص المعرفة الذاتية للنموذج. فالنماذج الأصغر، التي تُشغَّل غالبًا على عتاد محدود، تستفيد أكثر من هذه الإضافة.

لمن يفيد هذا عمليًا

بالنسبة إلى الفرق التي تبني مساعدين متخصصين في مجال معين على نماذج مفتوحة، تبدو DFM خيارًا وسطًا بين RAG والتدريب الإضافي. فهي لا تضيف استدعاء بحث إلى كل طلب، ولا تتطلب فك تجميد الأوزان. ويكتسب هذا أهمية خاصة حيث يكون زمن الاستجابة حرجًا وتكون مدوّنة المعرفة مستقرة: التوثيق الداخلي، والدعم الفني، والمراجع المهنية.

والقيود واضحة أيضًا من التصميم نفسه. فلا بد من معالجة المدوّنة مرة واحدة على الأقل دون اتصال، للحصول على تضمينات المقاطع اللازمة للتدريب. وإذا كانت المعرفة تتغير يوميًا، فإن إعادة تدريب المتنبئ أكثر كلفة من تحديث فهرس RAG. لذلك ستكمّل DFM على الأرجح الاسترجاع (retrieval) بدلًا من أن تحل محله: فبالنسبة إلى البيانات سريعة التقادم يبقى البحث أنسب، أما في المجالات المعرفية المستقرة فتصبح الذاكرة البارامترية ذات الدمج العميق بديلًا جديًا. وأهم ما تُظهره الدراسة أن خفض تكلفة تحضير البيانات بعدة رتب من حيث الحجم لم يكلّف شيئًا من الجودة، بل ارتفعت الجودة في QA بنسب من خانتين.