semCER يزن أخطاء OCR بحسب خطورتها: 61 مليون تقييم من حَكَم LLM

يحسب معدل خطأ الأحرف (Character Error Rate) المسافة بين النص المتعرَّف عليه والنص المرجعي، ثم يقسمها على طول المرجع. وبحسب CER، يتساوى الخطأ في حرف واحد من كلمة «Иванов» مع الخطأ في كلمة «и» وسط فقرة. ويقترح فريق مؤلفي الدراسة مقياس semCER: يحافظ على محاذاة CER ومقامه، لكن حَكَم LLM يقيّم كل تعديل على مستوى الغرافيم. وحجم العيّنة كبير: 61 مليون تعديل مُقيَّم في 16 لغة، وكل ذلك متاح للعموم.

كيف يعمل المقياس

القرار الهندسي الأهم أن semCER لا يكسر الحساب المألوف. فالمحاذاة تبقى كما هي، والمقام كذلك. ولا يتغير سوى كلفة كل تعديل: بدل أن تكون واحدًا، يعيّن لها الحَكَم وزنًا بحسب خطورتها. ولا يتطلب المقياس تقسيم النص إلى كلمات، وهذا مهم للصينية التي لا تُفصل فيها الكلمات بمسافات، وللغات ذات الصرف الغني.

ويحافظ هذا النهج على إمكانية المقارنة مع النتائج السابقة. فإذا كنتم تتابعون CER لمنظومة OCR لديكم منذ سنوات، فلن يتطلب الانتقال إعادة الحساب من الصفر: بنية الاحتساب نفسها، والأوزان وحدها هي التي تتغير.

ماذا أظهرت اختبارات القرّاء

قارن المؤلفون تقييمات المقياس بتقييمات قرّاء بشريين في الإنجليزية والفيتنامية والصينية. وتتطابق أوزان semCER مع التقييمات البشرية تعديلًا بتعديل، كما تقع الأخطاء الأشد خطورة في نظر القرّاء في أعلى القائمة المرتبة. وفي الأزواج التي اختلف فيها CER وsemCER، وافق القرّاء semCER أكثر من CER المطبَّع، وذلك في الإنجليزية والصينية. أما في الفيتنامية فالنتيجة متعادلة.

وثمة تحفظ صريح أيضًا. فبالنسبة إلى الدرجة النهائية للنسخ النصي كاملًا، يرتبط CER المطبَّع بتقييمات القرّاء بالقدر نفسه الذي يرتبط به semCER، وأحيانًا أفضل. وقيمة semCER تكمن في أمر آخر: فهو يفكّك هذه الدرجة إلى تعديلات منفصلة مسمّاة. وبذلك يصبح المقياس أداة تشخيص، لا مجرد رقم جديد.

أبرز نتائج الدراسة:

• 61 مليون تعديل قيّمها حَكَم LLM، في 16 لغة؛
• التحقق مع بشر: الإنجليزية والفيتنامية والصينية؛
• في الأزواج الخلافية يختار القرّاء semCER أكثر من CER المطبَّع في الإنجليزية والصينية، وفي الفيتنامية بالتساوي؛
• في الإسبانية يقيّم الحَكَم التشكيل الخاطئ أو علامة النغمة الخاطئة بما يقارب الصفر، وفي التيلوغوية بما يقارب حرفًا خاطئًا؛
• نُشر مع البيانات مُقيِّم مقطَّر (distilled scorer)، أي أنه ليس من الضروري استدعاء LLM كبير لكل تقييم.

ويعكس التفاوت بين اللغات الواقع: ففي الإسبانية نادرًا ما يغيّر فقدان علامة النبر المعنى، أما في التيلوغوية فالعلامة جزء من الحرف وتحدد الكلمة التي سيقرؤها الإنسان. وCER المسطّح لا يرى هذا الفرق.

أخطاء تبدو كلمات سليمة

تتعلق إحدى النتائج بنوع الأخطاء. ففي الحالات التي يمكن فيها إحصاء الكلمات الحقيقية، يُنتج الحرف الخاطئ في مخرجات نموذج VLM العام كلمةً موجودة فعلًا بمعدل يفوق المستوى العشوائي بوضوح. أما في منظومة OCR الكلاسيكية فتبقى هذه النسبة قريبة من المستوى العشوائي. والخلاصة العملية غير مريحة: النموذج اللغوي يصحّح النص باتجاه المعقول، فيتحول الخطأ إلى عبارة تُقرأ بسلاسة لكنها تقول شيئًا آخر. ومثل هذا الخطأ أصعب اكتشافًا عند المراجعة من الرموز المشوّشة.

كيف يُستخدم في تقييم OCR

بالنسبة إلى الفرق التي تقارن نماذج VLM بالمحركات الكلاسيكية على المستندات، فالمخطط بسيط. يمكن الاستمرار في احتساب الدرجة النهائية بـ CER المطبَّع. ويُستحسن تشغيل semCER فوقه لأغراض التحليل: ترتيب التعديلات بحسب خطورتها، ومعرفة الأخطاء التي يرتكبها النموذج في الأسماء والأعداد والتشكيل. وهذا مفيد خصوصًا لمنظومات تعدد اللغات، حيث يعني CER المتطابق في الإسبانية والتيلوغوية ضررًا مختلفًا. ويتيح المُقيِّم المقطَّر من مستودع nguyenx2t/semcer إجراء ذلك دون الرجوع إلى حَكَم LLM لكل مستند. والقيد واضح: الأوزان يحددها LLM، ولذلك ينبغي في المجالات الحرجة، مثل الطب أو القانون، مطابقتها بصورة انتقائية مع تقييمات المتخصصين لديكم.