النص النيبالي كان «أثقل» من الإنجليزي بثلاث مرات — والمُرمِّز (tokenizer) لم يُحلّ المشكلة بالكامل

من أين ينشأ الاستهلاك الزائد للرموز

توصّل فريق من الباحثين إلى سبب تعامل نماذج اللغة مثل Llama-3 و Qwen3 مع النص النيبالي بهذا الإهدار الشديد — وحاولوا إصلاح ذلك. وتبيّن أن المشكلة لا تكمن في معجم النموذج، بل في الخطوة الأولى والأقل وضوحًا في معالجة النص: التقسيم الأولي إلى أجزاء، الذي يحدث قبل أن يبدأ المُرمِّز أصلًا في تجميع الرموز.

تقوم المُرمِّزات من طراز GPT-2، التي بُنيت عليها نماذج Llama-3 و Qwen3، بتقطيع النص بتعبير نمطي (regex) قبل عملية التجزيء الأساسية. ويعتبر هذا التعبير أن «الكلمة» هي فقط تتابع من حروف يونيكود. والمشكلة أن اللغة النيبالية تستخدم أبجدية الديفاناغاري، حيث لا تُمثَّل حروف العلة بحروف منفصلة بل برموز خاصة توضع فوق الحرف الأساسي أو تحته — وهي ما يُعرف بالرموز الدامجة (combining marks). وفي يونيكود، لا تُعتبر هذه الرموز رسميًا «حروفًا»، لذلك يقوم التعبير النمطي بتقطيع الكلمة النيبالية حرفيًا عند كل علامة حركة.

النتيجة: في الموضع الذي يستهلك فيه المتحدث بالإنجليزية رمزًا واحدًا، يحتاج النص النيبالي، على النماذج نفسها، إلى ضعفين إلى ثلاثة أضعاف عدد الرموز لنقل نفس كمية المعنى. وقد قاس الباحثون ذلك على مجموعة بيانات FLORES-200 المتوازية (نفس الجمل بلغات مختلفة) — فيستهلك مُرمِّز Qwen3 عددًا أكبر بوضوح من الرموز للجملة النيبالية مقارنة بترجمتها الإنجليزية، بينما يكون الوضع أسوأ مع المُرمِّز الذي تستخدمه نماذج Phi-4 و OLMo-2 و Granite-4.1.

وهذا ليس مقياسًا نظريًا بالنسبة للمستخدمين. فزيادة عدد الرموز لنفس المعنى تعني طلبًا أعلى تكلفة، واستجابة أبطأ، وقدرة أقل على استيعاب محتوى مفيد ضمن نافذة سياق النموذج.

لماذا لا يكفي «الترقيع» المعتاد للمعجم

الطريقة المعيارية لتدريب نموذج جاهز على التعامل بشكل أفضل مع لغة جديدة هي ما يُعرف بتوسيع المعجم القائم على الدمج (merge-based vocabulary extension): حيث تُضاف إلى المعجم رموز دمج جديدة يتعلمها النموذج من نص اللغة الجديدة. والمشكلة أن التقسيم بالتعبير النمطي يحدث قبل أي عملية دمج — وإذا كانت الكلمة قد قُطِّعت مسبقًا إلى أجزاء عند علامات الحركة، فلن يستطيع أي عدد من عمليات الدمج الجديدة إعادة لصق القطع المنفصلة بهذا التقطيع. ويثبت الباحثون أن لهذا النهج «سقفًا» رياضيًا للتوفير، يتوقف فقط على التعبير النمطي، وليس على حجم المعجم.

وقد تحققوا من ذلك على إصدارات فعلية منشورة: وجدوا عشر عمليات توسيع معجم نُشرت سابقًا لست أبجديات مختلفة (لنماذج Llama-3 و Llama-3.1 و Qwen2.5 و Qwen3) — وقد اصطدمت العشر جميعها بسقفها الخاص، مستنفذةً ما لا يقل عن 98% من التوفير الممكن. بعبارة أخرى، كان مطورو هذه النماذج قد فعلوا كل ما يمكن فعله بالطريقة المعيارية — ولا جدوى من الاستمرار في الاعتماد على المعجم فقط.

كما اختبر الباحثون ثغرة محتملة: يمكن تسجيل سلاسل نيبالية كـ«رموز مُضافة» (added tokens) لا تمر أصلًا بالتعبير النمطي. وهذا يتجاوز السقف فعليًا، لكنه يكسر حدود الكلمات — إذ يبدأ خُمس هذه الرموز في المطابقة في منتصف الكلمة تمامًا، مما يُضعف دلالة التقسيم.

ما الذي حققته «إصلاح» التعبير النمطي

أعاد الباحثون كتابة التعبير النمطي نفسه بحيث تُعتبر علامات الحروف المتحركة في الديفاناغاري جزءًا من الكلمة، لا رموزًا منفصلة. ومن الخصائص المهمة لهذا التصحيح أنهم أثبتوا رياضيًا أنه بالنسبة لأي نص لا يحتوي على رموز دامجة أو أحرف ديفاناغاري (أي الإنجليزية والأكواد البرمجية)، يبقى التجزيء مطابقًا تمامًا للسابق — دون تغيير أي رمز.

وبفضل التعبير النمطي الجديد و32,000 زوج دمج جديد، أصبح النص النيبالي يحتاج إلى عدد رموز قريب جدًا من الإنجليزية — أي أقل بنسبة 54% من عدد الرموز في التوسيع التقليدي للمعجم.

لكن عند إعادة التدريب الفعلي لنموذجَي Llama-3.2-1B و Qwen3-0.6B على مزيج من النصوص النيبالية والإنجليزية، جاءت النتيجة مفاجئة: فعند موازنة حسابية متساوية، حقق المُرمِّز الأصلي «غير المُصحَّح» جودة أفضل في التنبؤ بالنص النيبالي (مقيسة بوحدة البتات لكل بايت) مقارنة بكلا النسختين، المُصحَّحة والموسَّعة بالطريقة التقليدية. وكانت هذه الفرضية الرئيسية للباحثين — ولم تتأكد.

وعند تساوي عدد خطوات التدريب (لا عدد البايتات)، تبيّن أن المُرمِّز المُصحَّح أفضل مع Qwen، لكنه أسوأ مع Llama — أي أن الفائدة لم تكن متسقة بين النموذجين. وأدى رفع سرعة التدريب على Qwen إلى تحسين نتائج النسخ الثلاث جميعها، دون أن يغيّر ترتيبها النسبي.

ما تعنيه هذه النتائج عمليًا

بالنسبة للمهندسين الذين يعيدون تدريب نماذج مفتوحة لدعم لغات تستخدم رموزًا دامجة (ليس النيبالية فقط، بل أيضًا، على سبيل المثال، التايلاندية والعربية والبنغالية)، فإن الخلاصة ذات شقين. فمن جهة، التوفير في عدد الرموز حقيقي ومثبت رياضيًا — فالمُرمِّز المُصحَّح يوفّر فعليًا 54% من الرموز لنفس النص النيبالي، دون التأثير على الإنجليزية أو الأكواد البرمجية. ومن جهة أخرى، لا يعني انخفاض عدد الرموز تلقائيًا نموذجًا أفضل: فقد أظهر الباحثون بوضوح أن المُرمِّز القديم «غير المُصحَّح» ما زال يتفوق في الجودة عند موازنة حسابية متساوية في اختباراتهم.

وتبقى هناك مسألة مفتوحة لم يختبرها الباحثون بصراحة: هل يُحقق توفير الرموز، في الواقع العملي، مكاسب في سرعة وتكلفة توليد النص، حتى وإن كانت الجودة أقل قليلًا. وقد نُشر الكود والمُرمِّزات المُدرَّبة وخطة التحليل للعامة على GitHub و Hugging Face.