Tesseract المُحسَّن يقرأ النص المانسي: انخفاض أخطاء الحروف من 18.5% إلى 0.85%

تخيّل أن عليك رقمنة آلاف الصفحات بلغة لا يتوفر لها نظام OCR جاهز ولا مسوحات ضوئية موسومة. هذا بالضبط ما واجهه باحثو معهد يوغرا للبحوث في تقنيات المعلومات عند بناء مدونة للغة المانسية. وجاء حلّهم عمليًا على نحو مفاجئ، ومع ذلك شديد الفاعلية: انخفضت نسبة الرموز الخاطئة من 18.5% إلى 0.85%، أي نحو 20 مرة تقريبًا.

أين كانت المشكلة

تقوم الكتابة المانسية على الأبجدية السيريلية، لكنها تتضمن حروف علة طويلة بعلامة المكرون (а̄، о̄، ӯ، э̄، ы̄) وحرف ӈ. ونموذج Tesseract الروسي القياسي لا يعرف هذه الرموز. فهو يفقد الخط فوق الحرف أو يحوّله إلى رموز عشوائية. وفي المانسية يغيّر طول حرف العلة معنى الكلمة، ولذلك فإن فقدان المكرون يعني فقدان المعلومة.

في مثال السطر «Хӯл тэ̄нутыг ва̄рнэ ма̄гыс» أخرج النموذج الروسي «Хул тэнутыг варнэ магьгсь»: اختفت المكرونات وتحوّل الحرف «ы» إلى «ьг». أما النموذج المُحسَّن فقرأ السطر كاملًا دون خطأ واحد.

وثمة مشكلة ثانية أقل وضوحًا. فالحرف نفسه يمكن كتابته في Unicode بأكثر من طريقة: إما رمزًا جاهزًا واحدًا، أو «у» متبوعًا بمكرون مركّب. وهما متطابقان بالنسبة للإنسان، لكنهما متسلسلتان مختلفتان بالنسبة للنموذج ولمقارنة السلاسل النصية. يكفي فتح وحدة تحكم Python: سيكون طول حرفين «ӯ» متطابقين بصريًا 1 و2، وستعيد المقارنة False.

كيف جُمعت البيانات دون مسوحات ضوئية

لا توجد مسوحات ضوئية مانسية بالحجم المطلوب، وكان توسيمها يدويًا سيستغرق سنوات. لذلك ولّد الفريق البيانات بنفسه: يأخذ نصًا مانسيًا حقيقيًا، ويرسمه على صورة بخطوط مختلفة، فتكون الإجابة الصحيحة معروفة مسبقًا.

يتكون خط المعالجة من أربع خطوات:

• تُوحَّد جميع النصوص وفق صيغة Unicode NFC، بحيث يكون لكل حرف تمثيل واحد فقط.
• تُعرض الأسطر بعشرات الخطوط، منها FreeSerif وDejaVu Sans وArial وTimes New Roman، بأحجام 12 و14 و24 و26 نقطة وبثلاثة أنماط.
• يُحاط كل رمز بإطار. والحساب التلقائي المعتمد على مقاييس الخط يخطئ في علامات التشكيل، لذلك أدخل المؤلفون ثلاثة قواميس تصحيح: للرموز المفردة، ولحجم الخط، وللخط المحدد. وقد جرى اختيار القيم تجريبيًا.
• يُقطَّع النص الطويل بالدالة split_by_width كي لا يتجاوز أي رمز حافة الصورة.

وكانت المحصلة 1.3 مليون زوج من «صورة .tif + ملف .gt.txt يحوي الإجابة الصحيحة».

كيف أُعيد تدريب Tesseract

الجزء الثالث من الوصفة هو التعلّم بالنقل. ففي داخل Tesseract 5 تعمل شبكة CRNN: يلتقط الجزء الالتفافي الخطوط والسمات، وتقرأ LSTM السمات من اليسار إلى اليمين، وتعفي دالة الخسارة CTC من التوسيم اليدوي لحدود الحروف. واتُّخذ ملف rus.traineddata من tessdata_best نقطة انطلاق. والأبجدية المانسية تكاد تطابق الروسية، ولذلك يحتاج النموذج أساسًا إلى تعلّم الحروف الجديدة.

وتستخرج الأداة tesstrain بنفسها جزء LSTM مع أوزانه، وتجمع القائمة الكاملة للرموز من بيانات التدريب، وتوسّع طبقة الإخراج لتناسب الأبجدية المدمجة. وتبيّن أن المعامل الحاسم هو عدد التكرارات: إن كانت قليلة لم تُستوعب الحروف الجديدة، وإن كانت كثيرة أفرط النموذج في التكيّف مع البيانات الاصطناعية. وقد ساعد الإيقاف المبكر اعتمادًا على مجموعة التحقق.

النتيجة بالمقاييس: انخفض CER من 18.5% إلى 0.85%، وانخفض WER من 42.1% إلى 1%. ولا يبقى على الإنسان سوى مراجعة النتيجة بدلًا من إعادة إدخال النص.

القيود والخلاصة العملية

يقرأ النموذج بثقة النص المطبعي النظيف بحجم 12–26 نقطة. وأداؤه أسوأ مع الخطوط الصغيرة جدًا أو الكبيرة جدًا، ومع الحروف اللاتينية، ومع الإصدارات القديمة ذات الطباعة الباهتة. ويخطط المؤلفون لإضافة مسوحات أرشيفية حقيقية إلى التدريب. ولنلاحظ أيضًا أن التقييم جرى في الظروف الاصطناعية نفسها، لذا يرجَّح أن تكون الأرقام على الكتب الحقيقية أسوأ.

والمفيد للممارسين هو الوصفة نفسها. إذا كنت تعمل مع لغة أو مجال تقل فيه البيانات الموسومة:

• ابدأ بتوحيد Unicode، فهي خطوة رخيصة وغالبًا ما يُستهان بها.
• ولّد بيانات اصطناعية من نصوص حقيقية مع تنوّع في الخطوط.
• أعد تدريب نموذج جاهز بدلًا من التدريب من الصفر.

ويرى المؤلفون أن النهج نفسه يناسب لغات الخانتي والنينيتس وغيرها من اللغات السيريلية ذات علامات التشكيل. ونموذج mns.traineddata متاح على Hugging Face (URIIT/mns-tesseract): يكفي وضع الملف في مجلد tessdata وتحديد اللغة mns. ويمكن تجربته أيضًا في المتصفح على بوابة الإثنوغرافيا (Etnoportal).