kazRush يتفوق على NLLB 3.3B في BLEU بنموذج أصغر 17 مرة

من السهل الوقوع في فخ مكلف في الترجمة الآلية: جمع مزيد من البيانات، واختيار نموذج أكبر، ثم انتظار تحسن الجودة تلقائياً. اختبر فريق تقنيات الذكاء الاصطناعي التجريبية في VK هذه الوصفة على الترجمة بين الروسية والكازاخية، وخرج باستنتاج أكثر فائدة. فقد تفوق نموذج kazRush، الذي يضم 197 مليون معلمة، على NLLB 3.3B وفق مقياسي BLEU وchrF عند الترجمة من الروسية إلى الكازاخية. ولم يكن التوسع في حد ذاته هو العامل الحاسم، بل الجمع بين مجموعة بيانات أُعدت بعناية، ومجزئ نصوص مدمج، وبنية اختيرت بما يلائم حجم البيانات.

البيانات أولاً، ثم المعلمات

جُمعت مجموعة البيانات الأصلية من OPUS وKazParC وWMT وTurkic Interlingua. وقبل الترشيح، بلغ حجمها نحو 12,3 مليون زوج من الجمل. وبعد إزالة البيانات الرديئة، والتحقق من اللغات، وضبط المحاذاة، بقي 9 054 960 زوجاً.

يمكن توضيح المشكلة بمثال بسيط. قد يحتوي الجانب الأيسر من أحد الصفوف على جملة روسية، بينما يحتوي الجانب الأيمن على مقطع كازاخي يتناول موضوعاً مشابهاً لكنه لا يطابقها. ومن الناحية الشكلية، كُتب النصان باللغتين المطلوبتين، ولذلك سيسمح فحص تقليدي بمرور الزوج. لكن النموذج سيتعلم تطابقاً زائفاً.

أزال الفريق بالتتابع النسخ المتطابقة تماماً، وعلامات HTML، والمحارف غير المرغوب فيها، وطبّق تسوية Unicode، وحدد لغة كل جملة باستخدام fastText، وقارن التقارب الدلالي باستخدام LaBSE. واستُبعدت الأزواج التي حصلت على درجة أقل من 0,4. كما فُحصت الأرقام، ونسبة أطوال النصوص، وحصة الحروف والأرقام في كل سطر. واضطر الفريق إلى كتابة قواعد مخصصة لبعض المصادر، إذ لم يكن المرشح العام كافياً.

أسفر البحث عن النسخ شبه المكررة عن نتيجة لافتة. فمن المنطقي ظاهرياً أن الأسطر المتشابهة لا تفعل سوى تلويث مجموعة البيانات. لكن جودة النموذج انخفضت بعد إزالتها. والتفسير المحتمل هو أن الاختلافات الصغيرة في الصياغة نفسها تعمل، عند نقص البيانات، بوصفها تعزيزا طبيعيا للبيانات. لذلك أزيلت التكرارات المتطابقة من المجموعة النهائية، بينما احتُفظ بالنسخ شبه المكررة.

نموذج مدمج بدلاً من سباق الأحجام

درّب الفريق مجزئ SentencePiece مشتركاً للغتين يضم 8 000 وحدة من الكلمات الفرعية. وسجلت النسخة ذات 16 000 وحدة نتيجة أسوأ قليلاً. وهذا تذكير مهم بأن المفردات الأكبر ليست مفيدة دائماً، خصوصاً للغة غنية صرفياً ومع مجموعة بيانات محدودة.

اعتمد النموذج على Transformer بمرمز ومفكك ترميز على نمط T5، ولكن من دون أوزان جاهزة. وتضم التهيئة النهائية 12 طبقة في كل من المرمز ومفكك الترميز، وحالة خفية بحجم 512، وكتل feed-forward بحجم 4 096، بإجمالي يقارب 197 مليون معلمة.

قارن المؤلفون النموذج مع T5-Small وT5-Base وT5-Large. ولم يكن النموذج الذي يضم 738 مليون معلمة هو الأفضل: ففي اتجاه «الروسية إلى الكازاخية»، سجل BLEU قدره 15,8، مقابل 16,2 لـkazRush. وبلغت النتيجة وفق chrF مقدار 51,9 مقابل 51,6، ووفق COMET مقدار 0,8836 مقابل 0,8804. بعبارة أخرى، لم تؤت الزيادة شبه الرباعية في عدد المعلمات ثمارها.

أين تكون النتيجة قوية فعلاً

قورن kazRush بعائلة NLLB على FLORES+ devtest. وفي الترجمة من الروسية إلى الكازاخية، سجل النموذج BLEU قدره 16,2 وchrF قدره 51,8، متفوقاً على NLLB 3.3B الذي سجل 15,6 و50,7 على الترتيب. ومع ذلك، بقي نموذج NLLB الكبير في المقدمة وفق COMET: إذ سجل 0,889 مقابل 0,883. لذلك لا يمكن الحديث عن انتصار مطلق، لأن المقاييس المختلفة تقيّم خصائص مختلفة للترجمة.

وفي الاتجاه العكسي، تفوق kazRush أيضاً على NLLB distilled 600M، لكنه تأخر عن نسختي NLLB اللتين تضمان 1,3 و3,3 مليار معلمة. فهو أداة متخصصة، وليس بديلاً عاماً للنماذج الكبيرة متعددة اللغات.

ينطبق الاستنتاج العملي على مجالات تتجاوز الترجمة بكثير. احتفظوا بمصدر كل سجل، وقيسوا أثر كل مرشح، ولا تحذفوا البيانات لمجرد أن القاعدة تبدو منطقية. أجروا أولاً دراسات الاستئصال على مجموعة البيانات، ومجزئ النصوص، والبنية، ثم اشتروا بعد ذلك فقط موارد حوسبة إضافية. ففي بعض الأحيان، تكون أفضل طريقة لتقليص النموذج هي إمعان النظر في البيانات التي تغذونه بها.