Dharma-AI تقلّص مفردات Qwen3-4B وتخفض تكلفة الاستدلال بنسبة 77%

أظهر فريق Dharma-AI البرازيلي حجم التوفير الممكن عند تعديل ما يُعدّ عادةً جزءًا ثابتًا من النموذج، وهو المُجزِّئ (tokenizer). في نظام إنتاجي يصحّح مقالات باللغة البرتغالية على أساس Qwen3-4B، قلّص المعجم الجديد متوسط الرد من 350 إلى 101 توكن. وانخفضت تكلفة الاستدلال المقيسة بنسبة 77.0%، فيما ارتفعت درجة البنشمارك من 0.703 إلى 0.810. بقيت النموذج الأساسي والبيانات ووصفة التدريب كما هي. وأُطلق على الطريقة اسم VocabX. لم تُنشر الورقة الكاملة بعد، والأرقام مأخوذة من النسخة الحالية من preprint، وهي نسخة قيد المراجعة.

أين كان النموذج المصحِّح يدفع أكثر مما ينبغي

يتلقى المصحِّح (grader) المقال والموضوع ونصوصًا مساعدة، ثم يعيد JSON يتضمن درجة وتعليقًا لكل كفاءة. وظل المُجزِّئ هو المُجزِّئ الأصلي في Qwen3-4B، أي المصمَّم للعمل مع لغات كثيرة وأنواع متعددة من النصوص. وكان هذا المُجزِّئ يقسّم إلى عشرات القطع بالضبط ما يكتبه النموذج في كل رد: غلاف JSON نفسه، وأسماء الكفاءات، وصيغ التقييم النمطية. إضافةً إلى ذلك، كان النموذج يحسب في كل خطوة توليد احتمالات 151 669 مدخلًا في المعجم، ومعظمها لا يظهر تقريبًا في هذه المهمة.

الكلفة هنا غير متماثلة. في مرحلة prefill يعالج النموذج المدخل كله في تمريرة واحدة، ويكون العائق هو الحساب. أما في مرحلة decode فيتطلب كل توكن تمريرة كاملة، وينتظر GPU البيانات من الذاكرة في الغالب، ويُضاف إلى قراءة الأوزان قراءة KV-cache. في الحالة المقيسة، يكلّف التوكن المُولَّد أكثر من التوكن المقروء بمقدار 7.4 مرة. وتتوقف هذه النسبة على العتاد وحجم الدفعة (batch) وطول السياق، وقد تكون أعلى. وتشغل مصفوفة LM head في نموذج بحجم Qwen3-4B نحو 10% من المعاملات، وتُقرأ كاملةً عند كل توكن مُولَّد. وهكذا يكلّف الصف الزائد في المعجم ما يكلّفه الصف الشائع.

توكنات تُختار بحسب الكلفة لا التكرار

تختار الطرق القائمة، مثل fast vocabulary transfer (FVT) وmulti-word tokenization (MWT) وin-place BPE من Liquid AI، المرشحين بحسب التكرار، وتعمل على مستوى واحد. أما VocabX فيغيّر المعيار: يُضرب كل توكن موفَّر في كلفة الحقل الذي يظهر فيه (موجّه النظام أو رسالة المستخدم أو رد النموذج). والتوكن الموفَّر في الرد يزن في هذه الحالة 7.4 مرة أكثر من نظيره في المدخل. ويعمل المنهج على طبقتين في آن واحد: طبقة ما دون الكلمة، وطبقة متعددة الكلمات تتحول فيها المقاطع المتكررة إلى توكن ماكرو واحد. ولاستخراج هذه المقاطع تُستخدم خمس أدوات تنقيب (miners):

• الكلمات الطويلة؛
• السلاسل النصية الكاملة؛
• التعبيرات؛
• الجمل الكاملة؛
• البنى ذات علامات الترقيم، مثل JSON والوسوم.

كانت الأداة الأخيرة الأكثر إسهامًا: في المتوسط عبر ثماني مجموعات نصية، وعلى الشيفرة البرمجية وحدها أضافت 17.5 نقطة. ومن دون الأدوات الخمس جميعها، كان تقليص التوكنات في المصحِّح سينخفض بمقدار 55.6 نقطة.

ثمة مشكلة منفصلة في تقدير المنفعة انطلاقًا من عيّنة من المستندات. فالتعبير الذي يتكرر 37 مرة في 50 000 مستند لا يقع في عيّنة من 400 مستند إلا في 26% من الحالات. وفي مجموعة العقود، يقع 16.6% فقط من المرشحين في مثل هذه العيّنة، ولا يحصل الباقون إلا على منفعة صفرية. يحسب الفريق بدقة الجزء من المكسب الذي يمكن حسابه على المجموعة كلها، ويقدّر الجزء غير المغطى بالطرق الإحصائية. وعلى العقود رفع ذلك تقليص التوكنات من 44.7% إلى 52.8% مع العيّنة نفسها والميزانية نفسها.

ماكرو ابتلع قرار النموذج

للقياس، دُرّبت سبع نسخ من المصحِّح على القاعدة نفسها والبيانات نفسها والوصفة نفسها وseed نفسه. ولم يختلف بينها سوى المُجزِّئ. وشُغّلت كلها على 500 طلب متطابق على RTX 5090 مع vLLM، وحُسبت التكلفة وفق الزمن المقيس. دمجت النسخة الأولى درجة كل كفاءة مع JSON المحيط بها في توكن ماكرو واحد. كانت الأكثر إيجازًا (خفض التكلفة بنسبة 73.3%)، لكن الجودة تراجعت إلى 0.689 مقابل 0.703 للنسخة الإنتاجية. فالدرجة داخل الماكرو حوّلت كل تركيبة من الدرجة والبنية إلى خيار توكن منفصل، وصار النموذج يختار كل شيء في خطوة واحدة. أما تخصيص توكن مستقل للدرجة فكلّف توكنين إضافيين في كل رد، لكنه رفع الدرجة إلى 0.810، وبلغ انخفاض التكلفة 77.0%.

وأعطى الاختبار على مواد أوسع الصورة التالية: خمسة مجالات (العقود، والمقالات الطبية، والمقالات العلمية، والأخبار، وشيفرة Python) وثلاث عائلات نماذج (Qwen3 وLlama-3.1 وGemma-3). ضغط VocabX أكثر من أفضل مرجع في جميع التركيبات الـ15، بفارق يتراوح بين 1.2 و9.3 نقطة. وفي تقدير تكلفة الاستدلال، تفوقت النسخة المقلَّصة أيضًا في كل الحالات: بمتوسط 10.2 نقطة على Qwen3، و7.5 على Llama-3.1، و13.6 على Gemma-3. وعلى العقود حققت تقليصًا بنسبة 62.6% مع 113 426 مدخلًا في المعجم، بينما حصل أفضل متغير من in-place BPE على 61.8% مع 207 803 مداخل.

متى يستحق الأمر تعديل المُجزِّئ

يناسب هذا النهج النماذج الإنتاجية الضيقة ذات البنية المتكررة في الردود: المقيِّمات، ومستخرجات المعلومات، ومولِّدات JSON، والمساعدات القانونية والبرمجية. وكلما زادت القوالب في الرد، وزاد اعتماد decode على الذاكرة، ازداد الأثر وضوحًا. ويتكوّن المكسب من ثلاثة أجزاء: رد أقصر، ومصفوفة LM head أصغر، وقراءات أقل في كل خطوة.

وثمة تحذير أيضًا. إذا كان المقطع المضغوط يتضمن القرار الذي وُجد النموذج من أجله (وهو هنا الدرجة)، فلا ينبغي إخفاؤه داخل توكن ماكرو. والمطلوب هو الحصول على أرخص معجم يحافظ على التوكنات ذات الدلالة. ومن دون ذلك يمكن توفير التكلفة وخسارة الجودة.