FineBooks من Hugging Face: أفضل OCR للكتب التاريخية بتكلفة أقل من 2 دولار لكل ألف صفحة

نشرت Hugging Face بالتعاون مع EleutherAI نتائج مشروع FineBooks، إذ اختبر الفريق 14 نموذج OCR مفتوحًا على أكثر من 2000 صفحة من الكتب التاريخية. وأفضل الحلول التي توصل إليها هو نموذج dots.mocr، الذي يبلغ 97,6% من الدقة على مستوى الحروف بتكلفة تقل عن دولارين لكل ألف صفحة.

لماذا نحتاج إلى إعادة رقمنة الكتب التاريخية

تتدرّب النماذج اللغوية على مدونات نصية ضخمة، يشكّل الكتب الرقمية المأخوذة من الأرشيفات العامة جزءًا كبيرًا منها. والمشكلة أن معظم هذه الكتب مُسحت ضوئيًا في تسعينيات القرن الماضي وفي العقد الأول من الألفية، باستخدام برامج OCR بدائية. والنتيجة آلاف الأخطاء المنهجية: حروف مستبدلة، وكلمات مقطّعة، وأسطر مفقودة، واختصارات غير مقروءة.

حين يدخل هذا النص «المشوّه» الناتج عن OCR في عينة التدريب، يتعلم النموذج من أنماط محرّفة. وهذا يخفض جودة التوليد، خصوصًا في المجالات التي تشغل فيها النصوص التاريخية حصة كبيرة: القانون والطب والأدب الكلاسيكي وتاريخ العلوم.

ويمثّل FineBooks محاولة من Hugging Face وEleutherAI لمعالجة هذه المشكلة بصورة منهجية. وقد اختار الفريق عمدًا صفحات الكتب التاريخية بوصفها أصعب مادة أمام OCR: خطوط قديمة غير قياسية، وورق مصفرّ، وحبر غير متجانس، وعيوب طباعة في إصدارات القرون الماضية. وقبل ظهور FineBooks لم تكن هناك مقارنة منهجية لحلول OCR المفتوحة على المادة التاريخية تحديدًا.

أي نموذج تصدّر القائمة

شمل الاختبار 14 نظام OCR مفتوحًا على عينة تضم أكثر من 2000 صفحة من الإصدارات التاريخية. وحقق النموذج الفائز dots.mocr دقة 97,6% على مستوى الحروف. ويعني ذلك أقل من 3 أحرف خاطئة في كل 100 حرف، وهو الحد الذي يصبح عنده النص صالحًا لبناء مجموعات بيانات لتدريب النماذج اللغوية الكبيرة.

أبرز أرقام مشروع FineBooks:

• قورن 14 نموذج OCR مفتوحًا وفق منهجية موحدة
• تضم عينة الاختبار أكثر من 2000 صفحة من الكتب التاريخية
• المتصدر dots.mocr: دقة 97,6% على مستوى الحروف
• تكلفة المعالجة أقل من 2 دولار لكل ألف صفحة

والجانب الاقتصادي بالغ الأهمية. فبتكلفة أقل من 2 دولار لكل ألف صفحة، لا تتجاوز كلفة معالجة مدونة من مليون صفحة 2000 دولار، وهي ميزانية واقعية للمؤسسات البحثية غير الربحية العاملة في الذكاء الاصطناعي على إنشاء مجموعات بيانات مفتوحة.

أين لا تزال الدقة غير كافية

يقرّ مؤلفو FineBooks بالقيود بصراحة. فنسبة 97,6% تكفي لإعداد بيانات تدريب الذكاء الاصطناعي، لكنها لا تكفي للنسخ الأكاديمي. إذ تتطلب النسخات العلمية إعادة إنتاج شبه مثالية للأصل: فالمتخصصون في التاريخ وعلم النصوص يتعاملون مع نصوص تحمل فيها كل فاصلة دلالة، وحدّ الخطأ المسموح به أدنى بمراتب مما هو مقبول في مجموعات بيانات الذكاء الاصطناعي.

«النتائج جيدة بما يكفي لبيانات تدريب الذكاء الاصطناعي، لكنها لم تبلغ بعد المستوى المطلوب للنسخ العلمي»، بحسب ما ورد في مواد مشروع

FineBooks التي نشرتها Hugging Face وEleutherAI بالاشتراك.

وهذا فصل مهم: فالدراسة تحدد بصراحة حدود صلاحية dots.mocr، ولا تدّعي أنه حل شامل. فهو يلبي احتياجات صناعة الذكاء الاصطناعي، بينما ينتظر المجتمع الأكاديمي دقة أعلى.

ماذا يعني ذلك

يمنح FineBooks القطاع مرجعًا عمليًا ملموسًا: فـ dots.mocr أداة مجدية اقتصاديًا لإعادة رقمنة الأرشيفات التاريخية على نطاق واسع بهدف تدريب LLM. وبحسب بيانات Hugging Face وEleutherAI، فإن مشكلة نص OCR «المشوّه» في مدونات التدريب حقيقية، ويمكن حلّها منذ الآن، دون انتظار حلول تجارية باهظة. ويفتح FineBooks الطريق أمام أن تصبح ملايين الصفحات من الكتب التاريخية جزءًا كاملًا من مدونات تدريب النماذج اللغوية المفتوحة.