الإدخال بالأمهرية في GPT-5 أغلى 6 مرات من الإنجليزية: 78 رمزًا مقابل 13

تخيّلوا أنكم تُطلقون روبوت دردشة للدعم الفني، وتحسبون الميزانية في البداية على نصوص إنجليزية. ثم تدخلون السوق الإثيوبية، فيصبح الرد نفسه على العميل أغلى بست مرات فجأة. السبب في المُجزِّئ (tokenizer): فهو يقطّع النص إلى أجزاء صغيرة تُسمّى رموزًا (tokens)، ومزوّدو النماذج يتقاضون المال مقابل الرموز لا مقابل المعنى. وقد نشر تحالف Coalition for Language Equity in AI Research (CLEAR) أول دراسة تقيس هذا الفارق وتسمّيه «ضريبة المُجزِّئ». تشغل العبارة نفسها في مُجزِّئ GPT-5 ما مقداره 13 رمزًا بالإنجليزية، و26 بالمالايالامية، و78 بالأمهرية. وقد نالت النماذج تقييمات من A إلى F، وحصل GPT-5 على أسوأها، أي F. وإذا كنتم تبنون منتجًا لا يستهدف المستخدمين الناطقين بالإنجليزية وحدهم، فإن هذه الأرقام تنعكس مباشرة على فاتورتكم.

من أين تأتي الضريبة

دُرّبت المُجزِّئات في معظمها على الإنجليزية وعلى نحو عشر لغات أخرى غنية بالموارد. ولهذا تبقى الكلمات الإنجليزية في الغالب رموزًا كاملة، بينما يتفتت النص بلغات أقل تمثيلًا إلى شظايا صغيرة. المعنى واحد، لكن عدد الرموز أكبر، ويُدفع ثمن كل رمز منها.

وللأمهرية سبب خاص لهذا التفاوت: فكل حرف من الكتابة الإثيوبية يُقسَّم إلى رمزين، بواقع بايت واحد لكل رمز. ونتيجة لذلك، يأتي الإدخال بالأمهرية أغلى من الإنجليزية بنحو ست مرات، مع المضمون نفسه وعدد الأحرف المقارب تقريبًا.

أُجريت القياسات على مجموعة العبارات FLORES-200، وشمل التحليل 203 أزواج من اللغات وأنظمة الكتابة. والمقياس الرئيسي هو نسبة عدد الرموز في أغلى لغة إلى عددها في أرخص لغة. كما حُسب معامل جيني، وهو مقياس لعدم التساوي مأخوذ من الاقتصاد ويُستخدم عادةً لوصف التفاوت في الدخول. وسلّم CLEAR كالتالي: حتى 3 مرات — A، وحتى 6 — B، وحتى 9 — C، وحتى 12 — D، وما فوق ذلك — F.

من نال أي تقييم

على أكثر 20 لغة تمثيلًا في الإنترنت، لا تكاد النماذج تختلف: يتراوح التفاوت بين 1,5 و3,1 مرة. أما المشكلة فتظهر على اللغات الـ200 كلها. وهناك لم ينل التقييم الأعلى A سوى نموذج الترجمة NLLB-200، الذي بُني منذ البداية لدعم أكثر من 200 لغة. ونال Gemini وGemma التقييم B. أما المنظومة الصينية (Qwen 3 وDeepSeek V4.1 Flash وKimi K3)، وكذلك Fable 5 وOpus 4.8 وLlama 4 Scout، فنالت التقييم D. وحصل GPT-5 على F.

تبيّن أن نظام الكتابة أهم من عدد المتحدثين. فاللغات المكتوبة بالأبجدية اللاتينية أوفر حتى مع محدودية انتشارها: فاللغة الأستورية غير موجودة في بيانات Common Crawl، لكنها تستفيد من الأبجدية اللاتينية ومن قرابتها باللغات الرومانسية. وأسوأ حالًا منها البورمية والتبتية والتيفيناغ والخميرية واللاوية والأول تشيكي (ol chiki). كما تدفع اللغات الكبيرة هذه الضريبة أيضًا: الأردية (288 مليون متحدث) والبنغالية (266 مليونًا) والبنجابية (200 مليون).

ليس السعر وحده

يذكر المؤلفون نتيجتين أخريين للتضخم نفسه في عدد الرموز. الأولى هي زمن الاستجابة: فالنموذج يعالج رموزًا أكثر للنص نفسه، فيتأخر الرد. والثانية هي السياق المفيد: ففي نافذة اسمية قدرها 128 ألف رمز، لا يتسع باللغة قليلة التمثيل إلا جزء من النص الذي كان سيتسع كاملًا بالإنجليزية. وإذا نقلنا النسبة 78 إلى 13 نقلًا تقريبيًا، فلن تتسع بالأمهرية سوى سدس الحجم الإنجليزي تقريبًا. وهذا تقدير حسابي منا، ولا يرد هذا الرقم في التقرير. وبالنسبة إلى RAG والمستندات الطويلة، يعني ذلك أنه سيتعين تقطيعها في وقت أبكر، وأن جزءًا من السياق سيضيع بوتيرة أكبر.

ماذا نفعل عمليًا

يطلب CLEAR من الشركات المطوِّرة ثلاثة أمور: نشر المقياسين كليهما في بطاقات النماذج، وتخصيص حصة للغات في مفردات الجيل القادم من المُجزِّئات، ومعايرة السعر حسب عدد الأحرف من الآن، لأن المُجزِّئ لا يمكن تغييره قبل تدريب نموذج أساسي جديد.

أما نصائح المطوّرين ومديري المنتجات فأبسط:

• لا تحسبوا الميزانية على نموذج أولي إنجليزي، بل مرّروا نصوصكم الفعلية عبر مُجزِّئ النموذج المطلوب وانظروا إلى المضاعِف؛
• قارنوا بين المزوّدين لا بسعر المليون رمز فقط، بل أيضًا بعدد الرموز الذي تستهلكه لغتكم؛
• احتسبوا هامشًا إضافيًا لزمن الاستجابة ولنافذة السياق في اللغات ذات التقطيع غير الكفء؛
• شيفرة الاختبار متاحة في مستودع مفتوح للمشروع، ويمكن تشغيلها على نماذج أخرى.

هذا الجزء الأول فقط من العمل: فهو يقيس عدد الرموز في عبارات قصيرة، ولا يقيس جودة الإجابات. ويعد CLEAR بنشر الجزء التالي، المتعلق بتكافؤ الجودة بين اللغات، لاحقًا.