TokenGate يُسرّع مرحلة prefill في نماذج اللغة الكبيرة بمعدل يصل إلى 11.3 مرة عبر تقليم قابل للتعلم
قدّم ليانا باتيل وريشاب رانجان وزملاؤهما من جامعة كاليفورنيا في بيركلي نظام TokenGate، وهو مكوّن خفيف الوزن مصمّم لتسريع مرحلة prefill في نماذج اللغة الكبيرة. تعتمد المقاربة على تقليم قابل للتعلم للرموز عبر آلية token-gated attention، المستوحاة من بنية Mixture-of-Experts. يُعيد النظام تقييم logits الانتباه بناءً على أهمية كل رمز، مما يسمح للنماذج بتجاوز السياق غير المهم عند معالجة المدخلات الطويلة. تتفوّق النتائج بشكل كبير على الأساليب القائمة: يحقق TokenGate تسريعًا لزمن الوصول إلى أول رمز (TTFT) بمعدل 1.4 إلى 11.3 مرة، وتخفيضًا لذروة استهلاك الذاكرة بمعدل 1.5 إلى 3.4 مرة، دون أي فقدان في الدقة. وبالمقارنة مع أفضل الأساليب المنافسة في تقليم الرموز، يقدّم تسريعًا يصل إلى 6.4 مرة واستهلاكًا للذاكرة أقل بمقدار النصف. يتكامل المكوّن بسهولة مع المحوّلات (transformers) الكلاسيكية مثل Qwen3، وكذلك مع نماذج الانتباه الهجينة مثل Qwen3.5. • **آلية token-gated attention**: إعادة تقييم logits الانتباه عبر درجات أهمية الرموز بدلًا من التقليم الصارم • **دعم البنى المختلفة**: المحوّلات القياسية ونماذج الانتباه الهجينة دون إعادة تدريب النموذج الأساسي • **تكيّف على مستوى PEFT**: ضبط فعّال من حيث المعاملات، بتعقيد مماثل لأساليب الضبط الدقيق (fine-tuning) القياسية
معالج بواسطة الذكاء الاصطناعي من Hugging Face Daily Papers؛ بتحرير Hamidun News
قدّم ليانا باتيل وريشاب رانجان وأيون ستويكا وماتي زهاريا وكارلوس غيسترين نظام TokenGate، وهو مكوّن يجعل مرحلة prefill في نماذج اللغة الكبيرة أسرع بكثير وأكثر اقتصادًا في استهلاك الذاكرة. فبدلًا من معالجة جميع رموز المدخلات عبر كل طبقة من طبقات المحوّل، يسمح TokenGate للنماذج بتجاوز السياق غير المهم بشكل انتقائي، على غرار شخص يقرأ وثيقة طويلة: يتعرّف بسرعة على محتواها العام، ولا يقرأ بتمعّن إلا الأجزاء الأساسية منها.
المشكلة التي يعالجها TokenGate حادة بالنسبة للاستخدام العملي لنماذج اللغة الكبيرة: فمعالجة السياقات الطويلة تتطلّب موارد حوسبة وذاكرة كبيرة. فعندما يستقبل النموذج آلاف أو عشرات آلاف الرموز في المدخلات (مثل الكود المصدري الكامل لمستودع برمجي أو وثيقة طويلة)، يُضطر إلى تمرير كل رمز عبر جميع طبقات الانتباه. يُدخل TokenGate آلية learnable token pruning، وهو تقليم قابل للتعلم يحدّد الرموز المهمة فعليًا لحل المهمة الحالية.
آلية token-gated attention
يتمثّل جوهر ابتكار TokenGate في آلية token-gated attention، المستوحاة من بنية Mixture-of-Experts. وتكمن الفكرة الهندسية الأساسية في حل مشكلة عدم القابلية للتفاضل: فبدلًا من استخدام مُشغّل top-K صارم لتقليم الرموز (وهو ما يُعقّد التدريب الشامل من البداية إلى النهاية)، يستخدم النظام إعادة تقييم ناعمة. يُمنح كل رمز درجة أهمية تُعيد تقييم مساهمته في حساب الانتباه. وهذا يسمح بتدريب آلية التقليم بأكملها بشكل مشترك مع بقية النموذج في عملية واحدة موحّدة، دون أي حيل خاصة أو مراحل إضافية.
النتائج والأداء
في تجارب على مجموعة متنوعة من المهام، أظهر TokenGate نتائج لافتة:
• تسريع زمن الوصول إلى أول رمز (TTFT): بمعدل 1.4 إلى 11.3 مرة تبعًا للمهمة وطول السياق • تخفيض ذروة استهلاك الذاكرة: بمعدل 1.5 إلى 3.4 مرة دون أي فقدان في الدقة • المقارنة مع أفضل الأساليب المنافسة: تسريع لمرحلة prefill يصل إلى 6.4 مرة، وتخفيض ذروة الذاكرة إلى النصف مقارنة بأساليب تقليم الرموز القائمة
التوافق والتكامل
صُمّم TokenGate كمكوّن جاهز للإضافة (drop-in) يُوسّع قدرات النماذج المدرَّبة مسبقًا دون الحاجة إلى إعادة تدريبها. ويعمل النظام مع المحوّلات القياسية (مثل Qwen3) ومع نماذج الانتباه الهجينة من الجيل الجديد (مثل Qwen3.5) على حد سواء. ولا يتطلّب التكيّف سوى تقنيات بسيطة فعّالة من حيث المعاملات، بتعقيد مماثل للضبط الدقيق الفعّال من حيث المعاملات (PEFT) التقليدي.
يشارك الباحثون نتائجهم مع المجتمع العلمي: الكود الكامل متوفر في المستودع https://github.com/tokengate-models/TokenGate. وهذا يسمح لباحثين ومهندسين آخرين بدمج TokenGate فورًا في أنظمتهم.
يعالج TokenGate مشكلة حقيقية في نشر نماذج اللغة الكبيرة في بيئات الإنتاج: ضرورة معالجة السياقات الطويلة بسرعة ودون استهلاك مفرط للموارد. وتفتح مقاربة التقليم القابل للتعلم للرموز، المدعومة بآلية token-gated attention، الطريق نحو استخدام أكثر كفاءة لقدرات نماذج اللغة الكبيرة الحديثة.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول آلية token-gated attention؟
يتمثّل جوهر ابتكار TokenGate في آلية token-gated attention، المستوحاة من بنية Mixture-of-Experts. وتكمن الفكرة الهندسية الأساسية في حل مشكلة عدم القابلية للتفاضل: فبدلًا من استخدام مُشغّل top-K صارم لتقليم الرموز (وهو ما يُعقّد التدريب الشامل من البداية إلى النهاية)، يستخدم النظام إعادة تقييم ناعمة. يُمنح كل رمز درجة أهمية تُعيد تقييم مساهمته في حساب الانتباه. وهذا يسمح بتدريب آلية التقليم بأكملها بشكل مشترك مع بقية النموذج في عملية واحدة موحّدة، دون أي حيل خاصة أو مراحل إضافية.
ما أبرز التفاصيل حول النتائج والأداء؟
في تجارب على مجموعة متنوعة من المهام، أظهر TokenGate نتائج لافتة: تسريع زمن الوصول إلى أول رمز (TTFT): بمعدل 1.4 إلى 11.3 مرة تبعًا للمهمة وطول السياق تخفيض ذروة استهلاك الذاكرة: بمعدل 1.5 إلى 3.4 مرة دون أي فقدان في الدقة المقارنة مع أفضل الأساليب المنافسة: تسريع لمرحلة prefill يصل إلى 6.4 مرة، وتخفيض ذروة الذاكرة إلى النصف مقارنة بأساليب تقليم الرموز القائمة
ما أبرز التفاصيل حول التوافق والتكامل؟
صُمّم TokenGate كمكوّن جاهز للإضافة (drop-in) يُوسّع قدرات النماذج المدرَّبة مسبقًا دون الحاجة إلى إعادة تدريبها. ويعمل النظام مع المحوّلات القياسية (مثل Qwen3) ومع نماذج الانتباه الهجينة من الجيل الجديد (مثل Qwen3.5) على حد سواء. ولا يتطلّب التكيّف سوى تقنيات بسيطة فعّالة من حيث المعاملات، بتعقيد مماثل للضبط الدقيق الفعّال من حيث المعاملات (PEFT) التقليدي. يشارك الباحثون نتائجهم مع المجتمع العلمي: الكود الكامل متوفر في المستودع https://github.com/tokengate-models/TokenGate. وهذا يسمح لباحثين ومهندسين آخرين بدمج TokenGate فورًا في أنظمتهم. يعالج TokenGate مشكلة حقيقية في نش
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.