SAE-IDF يطابق الرموز بين أنظمة مختلفة ويتفوق على الأسلوب الأساسي بما يصل إلى 45 نقطة

اقترح باحثون SAE-IDF، وهو أسلوب لمطابقة العناصر بين أنظمة رمزية متباينة، واختبروه على 12 مهمة تشمل ستة أنواع من هذه الأنظمة. مع نموذج Gemma-2-9B تفوّق الأسلوب على خط الأساس الكثيف المبني على النموذج اللغوي الكبير (LLM) نفسه في جميع المهام، ومع Llama-3.1-8B تفوّق في جميع المهام عدا واحدة. وبلغ أقصى فارق 45 نقطة. الورقة منشورة على Hugging Face Daily Papers، وتعلن هدفاً طموحاً هو وضع الأساس لإطار رمزي شامل للنماذج العصبية الرمزية.

لماذا نطابق الرموز

تخزّن النماذج اللغوية الكبيرة معرفتها في مجموعة واحدة من الأوزان. هذا مريح، لكن من الصعب التحقق من سبب إعطاء النموذج إجابة بعينها. وهذه مشكلة جدية في الطب والقانون والتمويل. تبدو الأنظمة العصبية الرمزية بديلاً، فهي تمتلك بنية قابلة للتفسير وقدرة على الاستدلال بأسلوب System 2. لكن لهذا النهج نقطة ضعف: فالأساس الرمزي، أي مجموعة المفاهيم والعلاقات والقواعد، يُبنى عادةً يدوياً. ولذلك تأتي هذه الأنظمة محصورة في مجالات محددة ومحدودة التغطية.

يقترح المؤلفون طريقاً مختلفاً: بدلاً من كتابة نظام رمزي ضخم من الصفر، يمكن تجميعه من أنظمة قائمة عبر مواءمتها ودمجها. والخطوة الأولى هنا هي الأكثر أساسية: معرفة العناصر التي تعني الشيء نفسه في الأنظمة المختلفة. ومن الأمثلة المعتادة على هذه الأنظمة الأنطولوجيات والتصنيفات ومخططات قواعد البيانات. أما الأنواع الستة التي دخلت في الاختبار المرجعي فلم يحدّدها الملخص.

كيف يعمل SAE-IDF

يتكوّن الأسلوب من ثلاث خطوات. أولاً، يؤخذ الرمز في سياقه الأصلي ويُمرَّر عبر نموذج لغوي. ثم يُشفَّر تمثيله الداخلي بواسطة مشفّر تلقائي متناثر (SAE) إلى رمز متناثر لا يُفعَّل فيه سوى جزء صغير من الأبعاد. بعد ذلك يُعاد حساب وزن كل بُعد بحسب ندرته، على غرار IDF في البحث الكلاسيكي: تحصل السمات الشائعة على وزن أقل، أما السمات النادرة، وبالتالي الأكثر إفادة، فتحصل على وزن أكبر. وأخيراً تُطابَق عناصر الأنظمة المختلفة اعتماداً على هذه الرموز الموزونة.

يرتبط الأثر العملي الرئيسي بقابلية التفسير. فلكل بُعد في الرمز المتناثر معنى مفهوم للإنسان، ولذلك يمكن تفكيك أي تطابق يُعثر عليه إلى مفاهيم مسمّاة. ولا يرى المحلل مجرد درجة تقارب، بل قائمة بالسمات التي أنتجتها.

• الأسلوب: SAE-IDF، أي ترميز متناثر مع وزن السمات بحسب ندرتها.
• النطاق: 12 مهمة و6 أنواع من الأنظمة الرمزية.
• Gemma-2-9B: التفوق على خط الأساس الكثيف للنموذج نفسه في جميع المهام.
• Llama-3.1-8B: التفوق في جميع المهام عدا واحدة.
• أقصى مكسب: يصل إلى 45 نقطة.
• الثبات: تبقى النتيجة قائمة عبر طبقات SAE وإعداداته المختلفة.

ماذا أظهرت الاختبارات وأين حدودها

المقارنة مبنية بشكل سليم: فخط الأساس هو التمثيل الكثيف للنموذج اللغوي الكبير نفسه، ولذلك لا يمكن إرجاع التفوق إلى نموذج أقوى. كما أن الثبات أمام اختيار الطبقة وإعدادات SAE أمر مهم أيضاً. فهو يدل على أن الأثر لا يعتمد على ضبط موفّق لمجموعة بيانات بعينها.

والقيود واضحة كذلك. فمهمة واحدة مع Llama-3.1-8B بقيت لصالح خط الأساس. وكلا النموذجين من فئة 8–9 مليارات معامل، وليس واضحاً من الملخص ما إذا كان النهج يعمل على نماذج أكبر. ومطابقة العناصر ليست سوى خطوة أولى نحو دمج الأنظمة. أما الدمج وحل التعارضات والاستدلال المنطقي على النتيجة فتبقى خارج نطاق هذا العمل. كما يعتمد الأسلوب على توفر مشفّرات SAE جاهزة للنموذج والطبقة المختارين، وهذه المشفّرات لا تُنشر لجميع النماذج اللغوية الكبيرة، بل لعدد قليل منها.

أين يفيد هذا

التطبيق الأقرب هو دمج البيانات والمعرفة، أي توحيد الأدلة والمصنّفات القطاعية والأنطولوجيات لدى مؤسسات مختلفة، حيث يكثر اليوم الترميز اليدوي. والشفافية في التطابقات أثمن هنا من نقطة دقة إضافية: إذ يستطيع الخبير التحقق من المفاهيم التي يقوم عليها القرار وتصحيحه.

ينبغي للفرق التي تبني أنظمة RAG ووكلاء فوق رسوم المعرفة المؤسسية أن تنظر في هذه الفكرة. يمكن تجربة وزن السمات المتناثرة بحسب ندرتها بديلاً عن التشابه الجيبي التمامي الكثيف عند مطابقة الكيانات. وتكفي للاختبار نماذج مفتوحة تتوفر لها مشفّرات SAE جاهزة. ويظل الإطار الرمزي الشامل هدفاً لم يتحقق بعد، لكن الاتجاه مختار بحكمة: فهو يستند إلى نتائج قابلة للقياس وتطابقات يمكن تفسيرها.