Wieszcz-XIX: مدوّنة بولندية لما قبل 1918 بحجم 3.1 مليار كلمة تُدرَّب عليها نماذج من الصفر

تفتقر اللغة البولندية التاريخية إلى بيانات مقروءة آليًا. فللفترة 1800–1918 لا توجد سوى نحو مليون كلمة من النصوص الموسومة، أما الباقي فمحفوظ في صور ممسوحة ضوئيًا مع OCR متفاوت الجودة. وقد جمع مؤلفو Wieszcz-XIX من هذه الصور مدوّنة بحجم 6.75 مليار رمز، أي نحو 3.1 مليار كلمة، في 294 369 وثيقة. وأغلب الوثائق أعداد من الدوريات. والمدوّنة أكبر من نظيرتها الموسومة بأكثر من ثلاث رتب من حيث الحجم. ودرّب الباحثون عليها من الصفر عائلة نماذج من 47M إلى 349M معامل، واختبروا إلى أي مدى «لا تعرف» هذه النماذج ما حدث بعد 1918.

المدوّنة: OCR غير نظيف، لكن مع احتساب العيوب

المصدران هما Wolne Lektury وInternet Archive. يرشّح خط المعالجة النصوص، ويزيل المكرّرات، ويفحصها بحثًا عن تسرّبات من الفترة اللاحقة لعام 1918، ثم يقسّم البيانات إلى عيّنات على مستوى الوثيقة. ولا يُخفي المؤلفون العيوب، بل يقيسونها:

• 6.75 مليار رمز، ونحو 3.1 مليار كلمة، و294 369 وثيقة؛
• تبلغ نسبة نصوص ما بعد الحرب المتبقية في مدوّنة التدريب 0.04–0.38% من البايتات، وقد وُجد هذا المتبقي في مصدر منسوخ يدويًا؛
• في عيّنة صُحّحت يدويًا تبلغ نسبة الخطأ لكل حرف 0.68% حيث يكون النص مقروءًا؛
• 45% من المقاطع المختارة لا يمكن تصحيحها؛
• أُزيلت المكرّرات المتطابقة تقريبًا.

والمدوّنة المنشورة تطابق مدوّنة التدريب وثيقةً بوثيقة، ولذلك يمكن التحقق من النتائج على البيانات نفسها.

نماذج بلا مستقبل

جميع النماذج من نوع decoder-only ودُرّبت من الصفر، دون إعادة تدريب نموذج حديث. وقورنت بنموذجين بولنديين أساسيين حديثين، أحدهما أكبر منها بوضوح. يُظهر نموذج 349M «تقاطعًا» معهما، ويحدث الأمر نفسه مع نموذج 107M عند مقارنته بنموذج قريب منه في الحجم. وتكلّف مفردات ما بعد 1918 النماذج التاريخية نحو 3.1 بت لكل بايت أكثر من مفردات العصر. أما النماذج الحديثة فلا تُظهر فجوة كهذه. وكلمات تلك الفترة أقل كلفة على النماذج التاريخية منها على النماذج الحديثة.

وهناك أيضًا أثر نوعي. فحين يُعرض على النموذج نص من تلك الحقبة يحافظ على إملائه، بينما تفعل النماذج الحديثة ذلك جزئيًا فقط. وهذا مهم للعمل مع المصادر، إذ لا «يُحدّث» النموذج الإملاء أثناء مواصلة النص.

وثمة نتيجة أخرى تتعلق بالموارد. فإضافة المعاملات تعطي مكسبًا يقارب ضعف المكسب الناتج عن مرور ثانٍ على البيانات نفسها. ومع 3.1 مليار كلمة، تدعم هذه النتيجة توسيع حجم النموذج بدلًا من تكرار الدورات (epochs).

تحذير وتطبيق عملي

يحذّر المؤلفون بصورة منفصلة من أن النماذج تعيد إنتاج أحكام مسبقة سادت في تلك الحقبة، ومنها عبارات معادية للسامية. فالبيانات لم تُنقَّ من ذلك، ولا يجوز تقديمها على أنها مصدر محايد.

أما الفائدة العملية للباحثين فتتلخص في ثلاثة أمور. فالمدوّنة والشيفرة والأوزان مفتوحة، ولذلك يمكن البناء عليها في أبحاث تاريخية، مثل توحيد الإملاء، والبحث في أرشيفات الصحافة، أو تحسين OCR نفسه. والنماذج صغيرة، إذ تصل إلى 349M معامل، وتعمل على عتاد متواضع. ويمكن نقل منهج قياس «الحدود الزمنية» للنموذج، المعتمد على الفرق بالبت لكل بايت بين مفردات العصر والمفردات اللاحقة، إلى لغات وفترات أخرى تتوافر لها دوريات مرقمنة. والقيد واضح: فنحو نصف المقاطع التي فُحصت لا يقبل التصحيح اليدوي، ما يعني أن الجودة تعتمد على الصور الممسوحة الأصلية، ويجب التحقق من المصادر عند استخدام النماذج في أي منشورات.