Apple تختبر نماذج LLM في دور حكّام الترجمة: تقييما MQM وESA صعبان على البشر والنماذج معًا

نشرت Apple ML Research دراسة تبحث في إمكانية الاستعاضة عن المُقيِّمين البشر للترجمة الآلية بنماذج لغوية. اختبر الباحثون نماذج LLM وفق مخططين مستخدمين على نطاق واسع لتقييم الجودة، هما MQM وESA، وقارنوا مدى اتفاقها مع البشر. ويصوغ عنوان الدراسة الخلاصة مسبقًا: الصعوبات قائمة لدى الطرفين، البشر والنماذج. تنبيه: الجزء المتاح من الملخص ينقطع عند المقارنة مع الوسم البشري ولا يتضمن نتائج رقمية، لذا يتناول ما يلي صياغة المسألة وتبعاتها لا الأرقام.

مخططان بدرجتي تفصيل مختلفتين

يُعد MQM (Multidimensional Quality Metrics) أكثر الطرق صرامة في تقييم الترجمة. يرصد الخبير الأخطاء في النص، ويحدد المقاطع المعنية، ويصنّف كل خطأ ضمن فئة (الدقة، والسلاسة، والمصطلحات وغيرها)، ثم يحدد درجة خطورته. الطريقة دقيقة لكنها مكلفة، إذ تتطلب لغويين مؤهلين ووقتًا طويلًا.

أما ESA (Error Span Annotation) فهي أبسط. يحدد المُقيِّم هنا أيضًا المقاطع الإشكالية، لكن دون تصنيف تفصيلي للأخطاء، ثم يمنح تقييمًا إجماليًا. وهذا أرخص وأسرع، ولذلك يزداد اعتماد المخطط في حملات التقييم واسعة النطاق.

يعمل المخططان على مستوى مقاطع النص، وليس على الدرجة النهائية فقط. فلا يكفي أن تقول النموذج إن الترجمة «جيدة أو سيئة»، بل عليه أن يحدد موضع الخطأ وسببه. وهذه مهمة أصعب بكثير على نماذج LLM.

ما الذي اختُبر بالضبط

ينطلق الباحثون من أنه لا يمكن عدّ نماذج LLM بديلًا موثوقًا للبشر ما لم تُختبر على جميع المحاور التي يتغير عبرها تقييم الترجمة:

• مخططات التقييم: MQM وESA؛
• الأزواج اللغوية: من الشائعة إلى الأقل توافرًا للبيانات؛
• مجالات النصوص؛
• دقة الوسم: من الدرجة الإجمالية إلى المقاطع المنفردة؛
• معيار الجودة: اتفاق النموذج مع المُقيِّمين البشر.

النهج معقول. فكثيرًا ما يُختبر نموذج LLM الحَكَم على مجموعة بيانات واحدة، فيُلاحَظ ارتباط جيد ويُعلَن أن الطريقة صالحة. أما هنا فيُقاس الارتباط عبر شرائح مختلفة، ولا تغني الدرجة الإجمالية عن التحقق من دقة وسم كل خطأ على حدة.

لماذا «صعب على البشر أيضًا»

لعل النصف الثاني من العنوان أكثر إثارة للاهتمام من الأول. فالوسم البشري يُعتمد مرجعًا، لكن المُقيِّمين أنفسهم لا يتفقون فيما بينهم اتفاقًا مثاليًا على الإطلاق، خصوصًا على مستوى المقاطع المحددة وشدة الأخطاء. قد يصنّف خبير عبارةً ما بوصفها عدم دقة أسلوبية، بينما يتجاوزها آخر أو يعدّها خطأ جسيمًا.

والنتيجة للمجال كله: للاتفاق مع الإنسان سقفٌ يحدده اتفاق البشر فيما بينهم. وإذا قصّر النموذج عن المرجع، فلا يكون دائمًا واضحًا هل الخلل فيه أم في مرجع مشوَّش. لذا يجب قراءة الاستنتاجات عن جودة نماذج LLM الحكّام مع مراعاة موثوقية الوسم الذي تُقاس به.

كيف يمكن الاستفادة من ذلك

يمكن لفريق يبني مسار تقييم للترجمة أو التوطين أن يستخلص من هذه الدراسة عدة قواعد عملية.

• لا تنقلوا النتيجة من زوج لغوي إلى آخر. اختبروا نموذج LLM الحَكَم بشكل منفصل لكل زوج ولكل مجال تحتاجونه.
• اختاروا المخطط بحسب المهمة. قد يكفي وسم شبيه بـ ESA للمراقبة الدورية للجودة، أما الحالات الخلافية أو الحرجة فتتطلب MQM وخبيرًا بشريًا.
• قيسوا اتفاق المُقيِّمين البشر أنفسهم. فبدون ذلك يستحيل فهم الحد الأقصى الممكن للنموذج.
• أبقوا البشر في الحلقة على عيّنة من البيانات. فتقييم LLM يخفض التكلفة لكنه لا يلغي المعايرة الدورية بواسطة الخبراء.

ينبغي الاطلاع على النص الكامل للدراسة في مصدرها الأصلي: فمعاملات الاتفاق النهائية والتفصيل بحسب اللغات هي ما سيحدد مدى الثقة في استخدام نماذج LLM في المواضع التي يُدفع فيها اليوم للخبراء اللغويين.