تقييم LLM للترجمة على 70 زوجًا لغويًا: تتفوق على البشر في بعض الحالات فقط

تُستخدم النماذج اللغوية بصورة متزايدة حكَمًا على الترجمة الآلية، فهي أرخص وأسرع من المقيِّمين البشر. لكن إلى أي حد يمكن الوثوق بها؟ قارن باحثون بين LLM والبشر وفق مخططي تقييم على مجموعة بيانات خاصة بهم تضم 70 زوجًا لغويًا بسياق طويل، وعلى بيانات WMT23 وWMT25 العامة. جاءت النتيجة مزدوجة. ففي بعض المهام تتفق النماذج مع المقيِّمين أكثر مما يتفق المقيِّمون بعضهم مع بعض. غير أن النتيجة تبقى في معظم الإعدادات غير موثوقة، سواء للنماذج أو للبشر.

ما الذي قيس بالضبط

اعتمد البحث مخططين شائعين. يتطلب MQM (Multidimensional Quality Metrics) أن يحدد الخبير الأخطاء، ويصنفها في فئات، ويقدّر خطورتها. وهو توسيم تفصيلي ومكلف. أما ESA (Error Span Annotation) فأبسط: يحدد المقيِّم المقاطع الإشكالية في النص ويضع تقييمًا عامًا.

قارن المؤلفون مستويين من الاتفاق: على الدرجات النهائية، وعلى حدود المقاطع المعيبة نفسها. واتُّخذ الاتفاق بين البشر معيارًا مرجعيًا. وبفضل ذلك يمكن التحقق لا من مدى تشابه النموذج مع الإنسان فحسب، بل أيضًا من مدى قابلية التوسيم البشري نفسه لإعادة الإنتاج.

أين يتعثر البشر وأين تتعثر النماذج

يتعلق الاستنتاج الرئيسي بالتباين. فالاتفاق يتغير بحسب مخطط التوسيم والزوج اللغوي والمجال، ولذلك لا يقول معامل ارتباط واحد متوسط مع البشر الكثير عن صلاحية النموذج لمهمة بعينها. ونقاط الضعف تختلف بين الطرفين:

• يواجه البشر أكبر صعوبة في توسيم MQM التفصيلي وفي الأزواج اللغوية محدودة الموارد؛
• تعجز LLM عن التمييز الجيد بين الأخطاء قليلة الأهمية؛
• تخلط النماذج بين المتغيرات اللغوية، أي أنها لا تلاحظ أن الترجمة كُتبت بمعيار إقليمي غير مناسب؛
• يصعب على النماذج تحديد حدود المقاطع المعيبة (error span) أكثر من تقدير الدرجة الإجمالية؛
• في بعض المهام يتجاوز اتفاق LLM مع البشر الاتفاقَ بين البشر أنفسهم، لكن ذلك لا ينفي عدم الاستقرار العام.

النقطة الأخيرة مهمة لفهم النتائج. فإذا اختلف المقيِّمون فيما بينهم، يصبح المعيار المطلوب من النموذج منخفضًا. وعبارة «يتفق النموذج مع الإنسان بقدر ما يتفق الإنسان مع الإنسان» تعني في هذه الحالة ضجيجًا في المرجع أكثر مما تعني جودة النموذج.

ما الذي ينقص وما الذي يقترحه المؤلفون

لا يورد الملخص معاملات اتفاق محددة ولا قائمة بالنماذج التي جرى اختبارها، لذا ينبغي الرجوع إلى النص الكامل للدراسة عند مقارنة الأرقام بمعايير قياس أخرى. أما الاستنتاج نفسه فمصوغ بوضوح: لدى الطرفين مجال للتحسين، وقد يكون الحل في خط عمل مشترك للتوسيم، يسدّ فيه الإنسان وLLM نقاط ضعف بعضهما.

والمغزى العملي لهذا النهج واضح. يمكن استخدام النموذج للمرور الأول على حجم كبير من النصوص وللتقييم التقريبي. ويُستحسن إشراك الإنسان حيث يخطئ النموذج بصورة منهجية: في الأخطاء الصغيرة، وفي المتغيرات الإقليمية للغة، وفي التحديد الدقيق للمقاطع. أما الأزواج اللغوية النادرة فتتطلب اهتمامًا خاصًا، لأن التوسيم البشري يعاني فيها أيضًا.

كيف تُستخدم النتيجة عمليًا

يمكن للفريق الذي يبني تقييم جودة الترجمة على حكَم من نوع LLM أن يستخلص من الدراسة عدة خطوات:

• التحقق من الاتفاق مع البشر لكل زوج لغوي ولكل مجال على حدة، لا وفق المتوسط العام؛
• عدم الاعتماد على النموذج في توسيم المقاطع المعيبة دون فحص بشري عشوائي؛
• اختبار قدرة الحكَم على ملاحظة المتغير اللغوي الخاطئ والعيوب الصغيرة اختبارًا مستقلًا؛
• قياس الاتفاق بين المقيِّمين أنفسهم، وإلا يستحيل فهم ما يعكسه المقياس فعلًا؛
• اعتماد مخطط هجين للغات النادرة مع مشاركة بشرية إلزامية.

أما من يختار حكَمًا للترتيب الآلي لأنظمة الترجمة، فالاستنتاج له عملي: تصلح LLM أداةً للتسريع، لكنها ليست بديلًا مطلقًا عن الخبير. وما دامت الموثوقية تتوقف على المهمة، فلن يكون هناك «تقييم افتراضي» شامل.