NVIDIA X-Token: تقطير معرفي يتفوّق على GOLD بمقدار 3.82 نقطة

أطلقت NVIDIA طريقة X-Token لتحسين نماذج اللغة الصغيرة. وX-Token نهج لتقطير المعرفة يعالج عيبين بنيويين في الطريقة السابقة GOLD، ويحقق تحسنًا ملموسًا في الاختبارات القياسية.

ما هي X-Token

X-Token هي طريقة Projection-Guided Cross-Tokenizer Knowledge Distillation. ببساطة، هي أسلوب لنقل المعرفة من نموذج كبير إلى نموذج صغير مع مراعاة اختلاف قواميس الرموز (tokens)، أي مجموعات العناصر التي يقسّم النموذج النص إليها. تعمل النماذج الصغيرة غالبًا بمحلّلات رموز (tokenizers) خاصة بها، وهي نظام مخصص لتقطيع النص، وكان التقطير في السابق يتجاهل هذا الاختلاف. تعالج X-Token هذه المشكلة.

تُدخل الطريقة طبقة إسقاط وسيطة تنقل التمثيلات بين فضاءين مختلفين من الرموز. وهي أشبه بمترجم يعمل على مستوى أساس النموذج نفسه. وعندما ينقل النموذج الكبير معرفته إلى الصغير، تضمن X-Token ألّا تضيع المعلومات عند الانتقال من طريقة ترميز إلى أخرى.

نتائج لافتة

على نموذج Llama-3.2-1B تُظهر X-Token تفوقًا ثابتًا:

• في الاختبارات المعيارية العامة: تحسن بمقدار 3.82 نقطة في المتوسط مقارنة بـ GOLD
• في مسائل الرياضيات (GSM8k): قفزة في الدقة من 2.56% إلى 15.54%
• في اختبار MMLU القياسي: ارتفاع من 24.0 إلى 24.7%

هذا ليس مكسبًا هامشيًا فحسب، فقد تضاعفت الدقة في الرياضيات 6 مرات. وبالنسبة لنموذج صغير بمليار معامل، يكتسب ذلك أهمية حاسمة: كل نقطة مئوية لها وزنها، لأن أي تحسن في القدرات، حتى لو كان صغيرًا، يساعد النموذج على التعامل مع مهام أكثر تعقيدًا عند هذه الأحجام.

الأخطاء البنيوية في GOLD

تجاهلت الطريقة السابقة GOLD أن محلّل الرموز (tokenizer) في النموذج الصغير قد يختلف تمامًا. وأدى ذلك إلى مشكلتين: أولًا، فقدت المعرفة القادمة من النموذج الكبير معناها عندما ترجمها النموذج الصغير إلى قاموسه الخاص؛ وثانيًا، لم يتمكن التقطير من استثمار كل إمكانات النموذج الصغير بفاعلية.

تدمج X-Token في عملية التقطير إسقاطًا بين فضاءات الرموز المختلفة، وهو أشبه بجسر بين نظامي ترميز للمعلومات. وتزداد أهمية ذلك عندما يكون النموذج الصغير مصممًا للتنفيذ السريع على الأجهزة المحمولة أو أجهزة الحافة (edge)، وله محلّل رموز فريد خاص به لتوفير الذاكرة.

ماذا يعني ذلك

تلزم النماذج الصغيرة في كل مكان: على الهواتف، وفي أجهزة إنترنت الأشياء (IoT)، وعلى الخوادم المحلية، حيث لا يتوفر الوصول إلى السحابة أو حيث يكون زمن الاستجابة حرجًا. وتُظهر X-Token أنه يمكن أخذ معرفة نموذج ضخم و«ضغطها» بكفاءة في صيغة صغيرة، مع الإبقاء على قاموس النموذج الصغير الخاص به.

هذا طريق نحو ذكاء اصطناعي يعمل في كل مكان، لا على الحوسبة السحابية وحدها. والتحسن بمقدار 6 أضعاف في الرياضيات إشارة إلى أن النماذج الصغيرة بدأت تكتسب قدرات حقيقية للمهام العملية. وقد يصبح الذكاء الاصطناعي المحلي قريبًا هو المعيار لا الاستثناء.