Pollux من Sber AI: نموذج لغوي «قاضٍ» لتقييم النماذج الناطقة بالروسية

قدّمت Sber AI نموذج Pollux، وهو نموذج «قاضٍ» لتقييم النماذج اللغوية الناطقة بالروسية تقييمًا آليًا. وتعالج الأداة مشكلة واجهت المطورين سنوات طويلة: كيف يمكن التحقق من جودة النماذج اللغوية الكبيرة (LLM) بموثوقية وسرعة قبل دمجها في بيئة إنتاج تجارية.

من الفحص اليدوي إلى الأتمتة

قبل بضع سنوات، حين بدأت النماذج اللغوية للتو في توليد إجابات معقولة، كان تقييم الجودة مسألة وقت ومال بحتة. كان الناس يفحصون يدويًا كل إجابة من إجابات النموذج، ويحددون الأخطاء، ويقيّمون مدى الالتزام بالتعليمات والصحة الواقعية. وكانت العملية بطيئة: فمراجعة مئات الإجابات تستغرق أيامًا أو أسابيع.

اليوم تتولى النماذج اللغوية الكبيرة مهام جدية: تكتب شيفرة برمجية عاملة، وتدير حوارات مع العملاء، وتخطط مسارات التوصيل. لكن النموذج لا بد أن يُقيَّم قبل دمجه في منتج حقيقي. وقد أصبح الفحص اليدوي عنق زجاجة في التطوير. فالشركات تهدر الوقت بينما يراجع الخبراء الإجابات يدويًا.

Pollux: حل للغة الروسية

يعالج Pollux هذه المشكلة. وهو نموذج لغوي متخصص، دُرّب على اللغة الروسية وعلى مهمة تقييم النماذج اللغوية الكبيرة الأخرى. ويمكنه العمل ضمن خط أنابيب التطوير لديك (pipeline) والتحقق تلقائيًا من جودة الإجابات.

وقد طُرح النموذج في وصول مفتوح، فلا يدفع المطورون رسوم ترخيص ولا يوقّعون عقودًا. ما عليك سوى تنزيله ودمجه في شيفرتك واستخدامه.

كيف يعمل النموذج القاضي

يفحص Pollux إجابات النماذج اللغوية وفق عدة معايير: دقة المعلومات، واكتمال الإجابة، ومطابقة الأسلوب المطلوب، والالتزام بالتعليمات الأصلية، وملاءمتها للسياق.

يعمل أسرع من الإنسان بملايين المرات، إذ ينجز التقييم في ثوانٍ بدلًا من ساعات من العمل اليدوي. وهو قابل للتوسع: يمكن فحص ألف إجابة دفعة واحدة. كما أنه أقل كلفة. فبعد أن كان لا بد من الدفع للخبير عن كل إجابة يفحصها، صار النموذج يؤدي ذلك مجانًا.

ومن أسباب طرح Sber للأداة بشكل مفتوح تزويد المنظومة كلها بطريقة قياسية للتقييم.

دُرّب النموذج على اللغة الروسية، وهذا مهم، إذ كثيرًا ما تكون معايير التقييم خاصة بلغة بعينها. فاللغة الروسية أكثر مرونة، وقواعدها أعقد، والأسلوب فيها يتوقف على السياق. ودقة الفحص بالروسية أعلى مما لو استخدمت نموذجًا مدرّبًا على الإنجليزية.

توحيد معايير الصناعة

حتى الآن كانت لكل شركة معاييرها الخاصة لتقييم النماذج اللغوية الكبيرة، وكثيرًا ما كانت ارتجالية وناقصة. فمطوّر يفحص وفق خمسة معايير، وآخر وفق خمسة عشر، ولا يمكن مقارنة النتائج بينهما.

يضع Pollux معيارًا موحدًا. فتظهر أداة مشتركة يمكن للجميع تطبيقها على نماذجهم. وهذا سيسهّل المقارنة بين النماذج اللغوية الكبيرة ويقلل المخاطر قبل الإطلاق في بيئة الإنتاج.

وهذا مهم بوجه خاص لمجتمع الذكاء الاصطناعي الناطق بالروسية، فمعظم أدوات التقييم موجّهة للغة الإنجليزية والسياق الناطق بها. ومع Pollux يحصل المطورون الناطقون بالروسية على أداة مكيّفة مع واقعهم.

ماذا يعني ذلك

يصبح التقييم الآلي للنماذج اللغوية الكبيرة معيارًا في التطوير، لا ترفًا مكلفًا. وسيتمكن المطورون من التكرار والتجريب في البنية والبيانات بسرعة أكبر، دون انتظار دورهم عند الخبراء. وستتسارع دورة التطوير عدة مرات.

وبالنسبة للمستخدمين، يعني ذلك خدمات ذكاء اصطناعي أعلى جودة وأكثر موثوقية، لأن النماذج ستكون قد خضعت لفحص أفضل قبل طرحها في بيئة الإنتاج. وسيحصل مجتمع المطورين الناطقين بالروسية أخيرًا على أداة مكيّفة مع خصائص لغتهم الأم.