AIRI раскрыла слабость token cramming: 1568 токенов в векторе, но понимание теряется

قدّم باحثو مختبر FusionBrain AIRI في مؤتمر ICML 2026 ورقةً بحثيةً بعنوان "Progressive Cramming: Reliable Token Compression and What It Reveals"، وأثبتوا أن إعادة البناء الكاملة للنص كلمةً بكلمة من تضمين مضغوط لا تعني أن النموذج اللغوي يحتفظ بقدرته على الاستدلال انطلاقًا منه.

نشأة مفهوم token cramming

في فبراير 2025، نشر الباحث في AIRI يوري كوراتوف ورفاقه ورقةً بعنوان "Cramming 1568 Tokens into a Single Vector and Back Again"، وأثبتوا شيئًا يكاد يكون مستحيلًا: يمكن "حشو" ما يصل إلى 1568 رمزًا — أي عدة فقرات نصية — في تضمين إدخال واحد لنموذج لغوي كبير مجمَّد، ثم استرجاعها كلمةً بكلمة. وقد حلّ متجهٌ من بضعة آلاف من الأرقام محلّ آلاف الرموز، مما فتح آفاقًا واعدة لضغط السياق.

المعاملات الرئيسية للطريقة الأصلية:

• يُدمج 1568 رمزًا في متجه إدخال واحد
• يستعيد النموذج النص دون أي فقدان للرموز
• لا يُعاد ضبط النموذج المجمَّد — إذ يتغير التضمين الإدخالي فحسب
• سُمّيت الطريقة بـ token cramming (حشو الرموز)

لماذا إعادة البناء ليست فهمًا

اكتشف فريق FusionBrain AIRI خلال إعادة إنتاج النتيجة مشكلةً خفيةً. إذ لا يتحقق بروتوكول token cramming القياسي إلا من دقة إعادة بناء النص، دون التحقق من كيفية فهم النموذج للمحتوى واستخدامه.

اقترح مؤلفو الدراسة الجديدة بروتوكولًا بديلًا هو progressive cramming (الحشو التدريجي): يبدأ الضغط بعدد صغير من الرموز ثم يتزايد تدريجيًا، مع التحقق في كل خطوة ليس فقط من دقة إعادة البناء، بل أيضًا من قدرة النموذج على أداء مهام الفهم — أزواج الأسئلة والأجوبة، والسلاسل المنطقية.

«يُخفي بروتوكول token cramming القياسي إخفاقاتٍ كارثية. إعادة بناء النص شيء، وفهمه شيء آخر تمامًا» — دميتري تاراسوف، باحث في

FusionBrain AIRI، في منشور المختبر على Habr.

جاءت النتائج مخيّبةً للآمال: عند درجات الضغط العالية، يتمكن النموذج من استرجاع النص حرفيًا، غير أنه يفقد تمامًا القدرة على الاستدلال بشأن مضمونه. وتنخفض الدقة في مهام الفهم إلى مستوى التخمين العشوائي.

أين يكمن سبب الإخفاق

توصّل مختبر AIRI إلى أن الإخفاق لا يقع في الطبقات العميقة للشبكة التحويلية (transformer)، بل في الطبقات الأولى من الشبكة — وهي الطبقات المسؤولة عن المعالجة الأولية للرموز وتشكيل السمات الدلالية.

مع token cramming، يتعلم المُحسِّن تجاوزَ الطبقات الأولى: إذ يُنشأ متجه يُمكِّن الطبقات اللاحقة من "تخمين" الرموز المطلوبة دون فهم معناها. وعمليًا، يتعلم النموذج الضغطَ متجاوزًا الدلالة. وبحسب مؤلفي الدراسة، أظهر تحليل مسارات التحسين أن التضمين الخاص بـ 1568 رمزًا يقع في منطقة مختلفة تمامًا من الفضاء مقارنةً بمتجهات الإدخال الاعتيادية — وهو ما يُفسّر عجز النموذج عن "التفكير" بهذه البيانات.

ما الذي يعنيه هذا

يُعدّ token cramming في صورته الراهنة حيلةً مثيرة لإعادة البناء، لكنه ليس أسلوبًا عمليًا لضغط السياق في المهام التي تستلزم الفهم. وتُغيِّر أعمال FusionBrain AIRI معيار تقييم أساليب الضغط: لا يكفي التحقق من دقة إعادة البناء — بل يجب التحقق من أن قدرة النموذج على الاستدلال ظلّت سليمة.

أسئلة شائعة

ما هو token cramming؟

token cramming أسلوبٌ تُحشر فيه مئات أو آلاف الرموز النصية في متجه إدخال واحد لنموذج لغوي مجمَّد. وقد أثبت العمل الأصلي ليوري كوراتوف (AIRI، فبراير 2025) إمكانية استرجاع 1568 رمزًا من متجه واحد دون إعادة ضبط النموذج.

ما الفرق بين progressive cramming والبروتوكول القياسي؟

progressive cramming بروتوكولُ تقييمٍ اقترحه مختبر AIRI في مؤتمر ICML 2026، يرتفع فيه معدل الضغط تدريجيًا، ويُتحقَّق في كل خطوة ليس فقط من دقة إعادة البناء، بل أيضًا من قدرة النموذج على حل مهام الفهم. وقد كشف هذا البروتوكول تحديدًا أن إعادة البناء المثالية لا تعني الحفاظ على قدرة الاستدلال.