TokenGate يسرّع مرحلة prefill في نماذج LLM حتى 11,3 مرة عبر استبعاد الرموز بالتعلّم

نشر فريق من الباحثين TokenGate، وهو مكوّن صغير قابل للإضافة يتيح للنماذج اللغوية المدرَّبة أصلًا تخطي الرموز قليلة الأهمية في المدخلات الطويلة. وبحسب المؤلفين، ينخفض زمن الوصول إلى الرمز الأول (TTFT) بمقدار 1,4–11,3 مرة، وتتراجع ذروة الذاكرة في مرحلة prefill بمقدار 1,5–3,4 مرة، ولا تتدهور الدقة في مجموعة متنوعة من المهام. وبالمقارنة مع أفضل طرق تقليم الرموز (token pruning) الموجودة، يصل المكسب إلى 6,4 مرة في سرعة prefill وإلى مرتين في الذاكرة.

المشكلة مألوفة لكل من شغّل نماذج على مستودعات شيفرة ضخمة أو مستندات طويلة. فالمحوّل يمرّر كل رمز في المدخلات عبر كل طبقة، سواء كان هذا الرمز لازمًا للإجابة أم لا. أما الخبير البشري فيتصرف بطريقة مختلفة: يتصفح النص سريعًا ويقرأ بتمعّن المقاطع المهمة فقط. ويتخذ المؤلفون هذا التشبيه أساسًا لعملهم، ويحاولون تعليم النموذج أن يفعل الشيء نفسه.

كيف يتجاوز TokenGate مشكلة top-K غير القابلة للاشتقاق

استبعاد الرموز ليس فكرة جديدة. تكمن الصعوبة في التدريب: فاختيار أفضل K من الرموز (top-K) عملية غير قابلة للاشتقاق، ولا يمر عبرها التدرّج (gradient)، ولذلك لا يمكن تدريب مُقيِّم الأهمية بأسلوب شامل (end-to-end) مع النموذج. ولهذا تعتمد كثير من الطرق السابقة على قواعد إرشادية أو على مراحل تدريب منفصلة.

يحل TokenGate هذه المشكلة بآلية token-gated attention. وقد استُلهمت من Mixture-of-Experts: إذ تعيد درجات أهمية الرموز ترجيح لوغاريتمات الانتباه (attention logits). وبفضل ذلك يتلقى المُقيِّم إشارة تدرّج خلال التدريب المعتاد، وتُدرَّب السلسلة كلها، بما فيها قرار ما يُبقى عليه، بأسلوب end-to-end.

وثمة تفصيل عملي مهم: هذه ليست معمارية جديدة تُبنى من الصفر. فـ TokenGate يوسّع النماذج الموجودة. ويعرض المؤلفون عمله مع المحوّلات القياسية (مثل Qwen3) ومع نماذج الانتباه الهجينة (مثل Qwen3.5). أما التكيّف، بحسب وصفهم، فخفيف ومماثل في كلفته للضبط الدقيق الموفّر للمعاملات (parameter-efficient fine-tuning) المعتاد.

ماذا أظهرت القياسات

فيما يلي الأرقام الواردة في الورقة البحثية.

• TTFT: أسرع بمقدار 1,4–11,3 مرة
• ذروة الذاكرة في مرحلة prefill: أقل بمقدار 1,5–3,4 مرة
• الدقة: دون تدهور في المهام التي جرى اختبارها
• بالمقارنة مع أفضل طرق التقليم السابقة: prefill أسرع حتى 6,4 مرة، وذروة الذاكرة أقل حتى مرتين
• التوافق: المحوّلات القياسية (Qwen3) والانتباه الهجين (Qwen3.5)
• الشيفرة: مفتوحة، والمستودع هو tokengate-models/TokenGate على GitHub

النطاقات واسعة، وهذا أمر طبيعي: فالمكسب يتوقف على المهمة وطول المدخلات ونسبة الرموز التي يمكن التخلص منها بأمان. ولا يذكر الملخص أي الإعدادات تحقق القيم القصوى، لذا ينبغي الاعتماد على قياساتكم الخاصة لا على الحد الأقصى البالغ 11,3 مرة.

أين يفيد هذا وما الذي ينبغي التحقق منه

يَعِد المنهج بأكبر فائدة حيث تهيمن مرحلة prefill على زمن الاستجابة: وكلاء الشيفرة الذين يضخّون مستودعات كاملة في السياق، وأنظمة RAG ذات المقتطفات الطويلة، وتحليل المستندات والسجلات. كما يعني انخفاض ذروة استهلاك الذاكرة أن سياقًا أطول قد يتسع على وحدة GPU نفسها، أو أن عددًا أكبر من الطلبات قد يُعالَج بالتوازي.

قبل الاعتماد على الطريقة، يستحسن التحقق من عدة أمور:

1. تشغيل TokenGate على بياناتكم الخاصة. فعبارة «دون تدهور في الدقة» في الورقة تخص مجموعة المهام التي اختبرها المؤلفون، وقد تكون مهامكم أكثر صرامة. 2. اختبار السيناريوهات التي يهم فيها العثور بدقة على تفصيل واحد داخل نص طويل، كلٌّ على حدة: ففيها يخاطر الاستبعاد العدواني للرموز بحذف ما هو مطلوب. 3. تقدير كلفة الضبط الدقيق الإضافي: فالمعلن أنها مماثلة لكلفة PEFT، لكن يحسن احتسابها على نموذجكم أنتم. 4. التحقق من كيفية دمج المكوّن في منظومة serving لديكم، وهل يدعمه محرك الاستدلال (inference engine) الذي تستخدمونه.

القيد واضح: فنحن أمام نسخة أولية (preprint)، والأرقام تعود إلى المؤلفين، ولا توجد حتى الآن إمكانية مستقلة لإعادة إنتاج النتائج. لكن الشيفرة مفتوحة، والطريقة قابلة للتطبيق على عائلات Qwen الشائعة، ما يتيح التحقق من هذه الادعاءات بسرعة.