AIRI تكشف نقطة ضعف token cramming: 1568 رمزًا في متجه واحد، لكن الفهم يضيع

قدّم باحثو مختبر FusionBrain AIRI في مؤتمر ICML 2026 ورقة «Progressive Cramming: Reliable Token Compression and What It Reveals»، وأثبتوا أن الاستعادة المثالية للنص كلمةً بكلمة من تضمين (embedding) مضغوط لا تعني أن النموذج اللغوي يحتفظ بقدرته على الاستدلال حول هذا النص.

من أين جاء token cramming

في فبراير 2025 نشر باحث AIRI يوري كوراتوف وفريقه ورقة «Cramming 1568 Tokens into a Single Vector and Back Again»، وأظهروا فيها أمرًا يكاد يكون مستحيلًا: يمكن «تعبئة» ما يصل إلى 1568 رمزًا، أي عدة فقرات نصية، في تضمين إدخال واحد فقط لنموذج LLM مجمَّد، ثم استعادتها كلمةً بكلمة. وقد حلّ متجه بأبعاد عدة آلاف من الأرقام محل آلاف الرموز، ما فتح آفاقًا واعدة لضغط السياق.

أهم معايير الطريقة الأصلية:

• يتّسع متجه إدخال واحد لـ 1568 رمزًا
• يستعيد النموذج النص دون أي فقدان للرموز
• لا يُعاد تدريب LLM المجمَّد، إذ يتغير تضمين الإدخال وحده
• أطلق الباحثون على الطريقة اسم token cramming («تعبئة الرموز»)

لماذا لا تعني إعادة البناء الفهم

اكتشف فريق FusionBrain AIRI أثناء إعادة إنتاج النتيجة مشكلة خفية. فبروتوكول token cramming القياسي يتحقق من دقة استعادة النص فقط، ولا يتحقق من كيفية فهم النموذج للمحتوى واستخدامه له.

اقترح مؤلفو الدراسة الجديدة بروتوكولًا بديلًا هو progressive cramming: يبدأ الضغط بعدد صغير من الرموز ثم يزداد تدريجيًا، ويتحقق الباحثون في كل خطوة من دقة إعادة البناء ومن قدرة النموذج على أداء مهام الفهم، مثل أزواج الأسئلة والأجوبة والسلاسل المنطقية.

«بروتوكول token cramming القياسي يخفي إخفاقات كارثية. فاستعادة النص شيء، وفهمه شيء آخر تمامًا»، — ديمتري تاراسوف، باحث في

FusionBrain AIRI، في منشور للمختبر على Habr.

جاءت النتائج مخيّبة للآمال: عند درجة ضغط عالية ينجح النموذج في إعادة إنتاج النص حرفيًا، لكنه يفقد تمامًا القدرة على الاستدلال حول محتواه. وتنخفض دقته في مهام الفهم إلى مستوى عشوائي.

أين يكمن سبب الإخفاق

تبيّن لـ AIRI أن الإخفاق لا يحدث في الطبقات العميقة من المحوّل، بل في الطبقات الأولى من الشبكة، وهي المسؤولة عن المعالجة الأولية للرموز وتكوين السمات الدلالية.

ففي token cramming يتعلم المُحسِّن تجاوز الطبقات الأولى: يُنشأ متجه يتيح للطبقات اللاحقة «تخمين» الرموز المطلوبة دون فهم معناها. وعمليًا يتعلم النموذج الضغط متجاوزًا الدلالة. ووفق بيانات مؤلفي الدراسة، أظهر تحليل مسارات التحسين أن التضمين الخاص بـ 1568 رمزًا يقع في منطقة من الفضاء مختلفة تمامًا عن منطقة متجهات الإدخال الاعتيادية، وهذا ما يفسّر عجز النموذج عن «التفكير» بمثل هذه البيانات.

ماذا يعني ذلك

يبقى token cramming بصيغته الحالية حيلة مذهلة في إعادة بناء النص، لكنه ليس طريقة عملية لضغط السياق في المهام التي تتطلب الفهم. وتغيّر ورقة FusionBrain AIRI معيار تقييم طرق الضغط: فلا يكفي التحقق من دقة الاستعادة، بل يجب التحقق من بقاء قدرة النموذج على الاستدلال.

الأسئلة الشائعة

ما هو token cramming؟

token cramming هو طريقة تُعبَّأ فيها مئات أو آلاف الرموز النصية في متجه إدخال واحد لنموذج لغوي مجمَّد. وقد أظهرت الورقة الأصلية ليوري كوراتوف (AIRI، فبراير 2025) إمكانية استعادة 1568 رمزًا من متجه واحد دون إعادة تدريب النموذج.

بماذا يختلف progressive cramming عن البروتوكول القياسي؟

progressive cramming هو بروتوكول تقييم اقترحته AIRI في ICML 2026، وفيه تزداد درجة الضغط تدريجيًا، ويُتحقق في كل خطوة من دقة إعادة البناء ومن قدرة النموذج على حل مهام الفهم. وقد كشف هذا البروتوكول أن إعادة البناء المثالية لا تعني بقاء الاستدلال سليمًا.