Spectral-LSH: ضغط المطالبات حتى 16 ضعفًا دون إعادة تدريب لتسريع استدلال LLM

قدّم باحثون Spectral-LSH، وهي طريقة لضغط المطالبات الطويلة لنماذج اللغة الكبيرة. تعمل الطريقة دون إعادة تدريب، وتقلّص النص المُدخل بمعامل 8–16 ضعفًا، وتحافظ على الجودة في الحالات التي تفقدها فيها الأساليب البسيطة. صدرت الورقة البحثية الأولية (preprint) على arXiv برقم 2607.19368 في يوليو 2026.

لماذا نضغط المطالبات

معالجة المطالبات الطويلة مكلفة، لأن تكلفة الانتباه (attention) في مرحلة prefill تنمو تربيعيًا، أي بمعدل O(N²) بالنسبة إلى طول التسلسل. يعالج Spectral-LSH هذه المشكلة قبل وصول المطالبة إلى النموذج: يحدد الرموز المتقاربة في المعنى ويدمجها في «رموز كبرى» (macro-tokens)، فيقلّص طول المُدخل قبل بدء الحسابات.

أبرز الحقائق الواردة في الورقة:

• الطريقة training-free، أي لا تتطلب إعادة تدريب النموذج
• تعمل كمعالج مسبق (preprocessor) قبل دخول المطالبة إلى LLM
• اختُبرت على Mistral-7B-Instruct-v0.3 وQwen2.5-7B-Instruct وQwen2.5-14B-Instruct
• مجموعة البيانات المستخدمة في التقييم هي C4
• جرى فحص معاملات الضغط ρ في النطاق من 4× إلى 16×

كيف تعمل الطريقة

يقرّب Spectral-LSH المكوّنات الرئيسية للمشغّل الضمني لنواة الانتباه (attention kernel) عبر طريقة فضاء كريلوف الجزئي (Krylov) مع random features. وبذلك يستغني عن بناء مصفوفة الانتباه الصريحة بحجم O(N²)، وهي الجزء الأعلى كلفة عند التعامل مع السياق الطويل. بعد ذلك يُطبَّق SimHash في فضاء الانتباه «الطيفي» الناتج: تُجزَّأ الرموز المتشابهة في السلال نفسها وتُجمَّع في رموز كبرى، مع الحفاظ على الترتيب السببي للمواضع كي لا يفقد النموذج بنية التسلسل.

أين يقع الانتقال الطوري

النتيجة الرئيسية هي انتقال طوري (phase transition) في معامل الضغط، كما يصفه المؤلفون. دون ρ = 4× يكون التكرار المحلي للرموز ضئيلًا، ويحقق التقسيم الخفيف إلى كتل (chunking) أفضل توازن بين السرعة والجودة. وفوق ρ = 8× يبدأ المسار الطيفي بالحفاظ على جودة يفقدها chunking.

عند ρ = 16× تتضح الفجوة بصورة خاصة. وفق بيانات الورقة، يخفض Qwen2.5-7B في الوضع التكيفي مقياس الحيرة (PPL) من 353,409 إلى 196,963، ويخفضه Qwen2.5-14B من 9,533 إلى 3,427. وكلما انخفضت الحيرة، قلّ تشوّه تنبؤ النموذج بعد الضغط.

«تكشف تجاربنا عن انتقال طوري في معامل الضغط»، كما جاء في ملخص الدراسة على arXiv.

ماذا أظهر اختبار الإجهاد

في اختبار إجهاد صغير بسياق طويل من بيانات مهيكلة، شمل مقاطع بنمط JSON وشيفرة برمجية وجداول، حسّن LSH المحلي كل المقاييس مقارنةً بـ chunking عند ضغط 8×. يجمع الواجهة الخلفية التكيفية (adaptive backend) بين الوضعين: chunking عند الضغط المنخفض، والتجميع الطيفي عند الضغط المرتفع. ومع ذلك يبقى chunking الأسرع من حيث زمن الاستجابة الإجمالي، أي أن الجودة عند معاملات الضغط العالية تُدفع كلفتها من الوقت.

ماذا يعني ذلك

يُظهر Spectral-LSH أن الضغط الحاد للمطالبات (8× فأكثر) ممكن دون فقدان الجودة ودون إعادة تدريب النموذج، شرط تجميع الرموز وفق طيف الانتباه بدلًا من تقطيع النص إلى كتل. وبالنسبة إلى استدلال السياقات الطويلة، فهذا طريق مباشر نحو خفض تكاليف الحوسبة.

الأسئلة الشائعة

ما هو Spectral-LSH؟

هو أسلوب training-free لضغط المطالبات المُدخلة إلى نماذج اللغة. يجمّع الرموز المتشابهة عبر تجزئة SimHash في فضاء الانتباه الطيفي، ثم يدمجها في رموز كبرى، فيقلّص طول المُدخل بمعامل 4–16 ضعفًا. ولا يتطلب إعادة تدريب النموذج.

على أي نماذج اختُبرت الطريقة؟

قيّم المؤلفون Spectral-LSH على Mistral-7B-Instruct-v0.3 وQwen2.5-7B-Instruct وQwen2.5-14B-Instruct باستخدام مجموعة بيانات C4، وكذلك في اختبار إجهاد ببيانات مهيكلة بنمط JSON وشيفرة برمجية وجداول.