TTR-Compressor يضغط التسلسلات بالانحدار ويخفض الرموز البصرية بنسبة 55,6%

قدّم باحثون TTR-Compressor، وهي وحدة لضغط التسلسلات تستخدم انحدارًا يُحلّ مباشرة أثناء التمرير الأمامي، بدلًا من التجميع (pooling) والإسقاطات القابلة للتعلم. في النماذج اللغوية متعددة الوسائط، يتفوق الأسلوب باستمرار على MLP-merger القياسي، ويحقق جودته نفسها مع عدد أقل من الرموز البصرية بنسبة 55,6%. وفي الانتباه المتناثر الكتلي، يرفع النتيجة بقوة على اختبار RULER مقارنة بالضواغط المبنية على آلية الانتباه نفسها.

عنق الزجاجة داخل النماذج الكفؤة

يظهر ضغط التسلسلات في كل المعماريات الحديثة تقريبًا، رغم أنه نادرًا ما يحظى بالاهتمام. تُخرج المشفِّرات البصرية مئات الرموز لكل صورة، ويجب دمجها في عدد أقل قبل تمريرها إلى النموذج اللغوي. وفي الانتباه المتناثر يُقسَّم السياق الطويل إلى كتل، وتحتاج كل كتلة إلى تمثيل مضغوط يقرر النموذج بناءً عليه أين ينظر. والأسلوب المستخدم في كل هذه الحالات واحد: حساب المتوسط، أو التجميع بالقيمة العظمى (max-pooling)، أو إسقاط صغير قابل للتعلم مثل MLP.

تكمن المشكلة في أن هذه العمليات تفقد المعلومات في الموضع الذي تشتد الحاجة إليها فيه. فالمتوسط يطمس الرموز النادرة لكنها المهمة. والإسقاط الثابت لا يستطيع التكيف مع محتوى تسلسل بعينه. ويصف المؤلفون الضغط صراحةً بأنه حاجز معلوماتي حرج، ويرون أن الأساليب الشائعة غير قوية بما يكفي.

انحدار يُحلّ أثناء التشغيل

فكرة TTR-Compressor هي النظر إلى الضغط بوصفه مسألة انحدار في مرحلة الاختبار. تحدد الرموز المُدخلة بنفسها مسألة الانحدار، وتكون المعاملات الناتجة عن الملاءمة هي التمثيل المضغوط للكتلة. تصل معلومات التسلسل إلى المخرجات عبر الملاءمة مع رموزه نفسها، لا عبر تحويل خطي ثابت.

يرتبط التفصيل الهندسي الأهم بالكلفة الحسابية. فصياغة مسألة الانحدار نفسها تُتعلَّم من البداية إلى النهاية بالانتشار العكسي المعتاد للخطأ. أما المعاملات فتُحسب في التمرير الأمامي بصيغة مغلقة، ودون تكرارات تحسين داخلية. يمنح هذا التصميم تكيفًا حقيقيًا مع المُدخل، ويحافظ على السرعة التي من أجلها يُستخدم الضاغط أصلًا. كما أن قابلية اشتقاق الحل المغلق تتيح تدريب كل شيء مع بقية النموذج.

أبرز نتائج الورقة:

• الانتباه المتناثر الكتلي: يحسّن TTR-Compressor مؤشرات RULER بوضوح مقارنة بالضواغط المبنية على الانتباه؛
• دمج الرموز البصرية في النماذج اللغوية الكبيرة متعددة الوسائط: يتفوق الأسلوب باستمرار على MLP-merger القياسي؛
• الكفاءة: تتحقق جودة MLP-merger مع عدد أقل من الرموز البصرية بنسبة 55,6%؛
• العمومية: يقدّم المؤلفون الأسلوب بديلًا عامًا للتجميع والإسقاطات، لا حلًّا لمهمة واحدة.

لماذا يهم رقم 55,6%

يقيس RULER قدرة النموذج على الاحتفاظ بالمعلومات وإيجادها في السياق الطويل، وهو اختبار صعب على أي مخطط ضغط. فإذا فقد ضاغط الكتل التفاصيل، لن يتمكن الانتباه المتناثر من اختيار الكتل المطلوبة، وتنخفض الجودة. ويدل التفوق الكبير على الضواغط المبنية على الانتباه على أن التمثيل القائم على الانحدار يحتفظ بقدر أكبر من الإشارة المفيدة.

أما بالنسبة للنماذج متعددة الوسائط، فحساب المكسب مباشر. فالرموز البصرية مكلفة في مرحلة prefill وفي KV-cache على السواء، في حين يزداد عدد الصور وإطارات الفيديو في الطلب الواحد. وتقليص عددها إلى النصف تقريبًا مع الجودة نفسها يعني ذاكرة أقل، وزمن استجابة أقصر، وصورًا أكثر في السياق الواحد ضمن الميزانية نفسها. وفي الوقت نفسه، يستبدل الضاغط مكونًا واحدًا، ولا حاجة إلى إعادة كتابة بقية المعمارية.

أين قد يفيد أولًا

أول المرشحين للتجربة الفرق التي تدرّب نماذج متعددة الوسائط بدمج بصري (merger) وتصطدم بكلفة الاستدلال. يبدو استبدال MLP-merger بـ TTR-Compressor تجربة محلية: يتغير مكوّن واحد، ومعيار المقارنة واضح، وهو الجودة عند عدد رموز ثابت، أو عدد الرموز عند جودة ثابتة.

الفئة الثانية هي مطورو النماذج ذات السياق الطويل التي تعتمد الانتباه المتناثر الكتلي. فبالنسبة إليهم، يحدد ضاغط الكتل مدى دقة توجيه الانتباه، وتشير نتيجة RULER مباشرة إلى المكسب.

ثمة قيد واحد حتى الآن: التقييم أُجري على فئتين من المهام فقط. أما كيف سيتصرف الأسلوب مع وسائط أخرى، أو في الصوت، أو في النماذج الضخمة جدًا، فستكشفه عمليات إعادة إنتاج مستقلة. لكن مبدأ «الرموز تحدد الانحدار، والمعاملات هي التمثيل» يبدو لبنة أساسية يسهل دمجها في المعماريات الكفؤة القائمة.