ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

بناء مدوّنة للغة تتار القرم: 79% من الصفحات لم تحتج إلى OCR، لكن التركية تسلّلت إليها

لتدريب شبكة عصبية على لغة تتار القرم، جمع المؤلف مدوّنة من كتب قديمة وتسجيلات بث، واكتشف أن 79% من صفحات لغة تتار القرم تحتوي أصلًا على نص تحت الصورة، فلا يلزم التعرّف الضوئي على الحروف (OCR، أي قراءة الصفحات الممسوحة) إلا لخُمس الصفحات. في المقابل، وُجدت في الدوريات بدائل تركية: ارتفعت حصة الصيغ التركية في إجابات النموذج الجديد من 0,27% إلى 2,02%. والخلاصة: احسبوا تركيبة الأرشيف أولًا، وشغّلوا مقاييس الجودة على كل مصدر على حدة.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
بناء مدوّنة للغة تتار القرم: 79% من الصفحات لم تحتج إلى OCR، لكن التركية تسلّلت إليها
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
التكرارات بحسب المحتوى7,0% من الصفحات، ولا يمكن رصدها بأسماء الملفات
حقيقة رئيسية #2ثلاثة مصادر أنتجت 46% من الرموز التركية كلها، وأربعة عشر مصدرًا أنتجت 76%
تراجع المؤلف عن الاستبدال التلقائي n ← ñفكلمة «أطفال» كانت تتحول إلى «أطفالك»

عندما لا تتوفر للغة ما أي مجموعة بيانات جيدة، لا يعود السؤال «أي نموذج نختار؟» بل «على ماذا نتدرّب أصلًا؟». روى مؤلف سلسلة مقالات على Habr عن لغة تتار القرم كيف جمع مدوّنة للتعرّف على الكلام وتركيب الصوت ونموذج لغوي. الرقم الرئيسي: نص 79% من صفحات الكتب القديمة بلغة تتار القرم كان موجودًا أصلًا تحت صورة الصفحة، ولذلك لم يلزم التعرّف الضوئي على الحروف (OCR) المكلف إلا للخُمس المتبقي. أما الرقم الثاني فأقل إرضاءً: ارتفعت حصة الصيغ التركية في إجابات النسخة الجديدة من النموذج اللغوي من 0,27% إلى 2,02%، لأن نصوصًا مكتوبة على الطريقة التركية تسرّبت إلى البيانات. وإذا كنتم تبنون مدوّنة للغات نادرة أو لأرشيفات داخلية في شركتكم، فهذا التحليل يوفّر عليكم أشهرًا من العمل.

احسب أولًا ما في الأرشيف

توفّرت لدى المؤلف كتب ودوريات من سنوات مختلفة، وتسجيلات بث، وكتب مسموعة، وقواميس، وتسجيلات لمعلّمين. لم يكن شيء منها تقريبًا مجموعة بيانات جاهزة بمفرده: الكتاب يبقى ملف PDF، والبث ساعات من الصوت بلا نص، والكتاب المسموع صوته ونصه منفصلان. بدت الخطة بديهية: الكتب القديمة موجودة في معظمها على شكل صور ممسوحة، إذن نحتاج إلى OCR. لكنه يخطئ في هذه اللغة، خصوصًا في الحروف غير الموجودة في الروسية، ويستغرق وقتًا طويلًا وكلفته مرتفعة.

قبل التشغيل، حسب المؤلف حصص الصفحات بحسب الفئات. شغلت الكتب الروسية 32,2%، والتركية 13,9%، وكتابة تتار القرم بالحروف السيريلية ذات الطبقة النصية 28,2%، والحروف اللاتينية ذات الطبقة النصية 3,9%. وبين صفحات لغة تتار القرم وحدها، كانت 79% منها تحمل نصًا حقيقيًا يمكن استخراجه دون أي تعرّف ضوئي. وتبيّن أن الفرع المكلف هو الجزء الأصغر من الحصيلة.

لكن «النص موجود» لا يعني «النص جيد»: فالطبقة النصية أنشأها برنامج غريب في وقت ما. ووُجدت ثلاثة عيوب. الأول: علامة اللين بدلًا من علامة الصلابة («къаплангьан» بدل «къаплангъан»)، فالتركيبان «кь» و«гь» غير موجودين في السيريلية لدى تتار القرم، والاستبدال هنا آلي.

وقبل تطبيق التصحيح، شُغّل على نص سليم يقينًا لا ينبغي أن يتغير فيه أي رمز، فكانت التغييرات صفرًا، وبعدها فقط صُحّحت عشرات الآلاف من الصفحات. الثاني: ترميز خاطئ، إذ تحوّل الحرف التركي «ı» إلى «ý» و«ş» إلى «þ»، وهذا قابل للعكس أيضًا. الثالث: التكرارات.

فبأسماء الملفات لم تُرصد النسخ المكررة تقريبًا، أما بالمحتوى (مقارنة مقاطع من ثماني كلمات) فوُجدت 7,0% من الصفحات مكررة. ولولا ذلك لرأى النموذج بعض النصوص مرتين، ولبدا عند الاختبار كأنه «يتعرّف» على ما يُفترض أن يراه لأول مرة.

واتُّخذ القرار على مستوى الصفحة لا الكتاب: ففي المجلد الواحد قد تجاور السيريلية النظيفة لاتينية تالفة. وقُيّمت الجودة بحصة الكلمات التي تبدأ بجذر موجود في القاموس. أما المطابقة التامة فلم تصلح: اللغة التصاقية، وتتعلق بالجذر سلاسل من اللواحق، فلم يميّز هذا القياس بين كتاب جيد (3% إصابات) وكتاب تالف (2%). وللمراقبة: رُفضت ست كتب روسية عشوائية في 100% من صفحاتها، وست كتب تركية في 74%، لكن كتابين من الستة اجتازا الفحص. والنتيجة: صار النص الصالح أكبر بنحو عشر مرات مما كان في النواة السابقة للمدوّنة.

تركية تتنكّر في هيئة لغة تتار القرم

ذات مرة أجاب النموذج «Ayt, men dinlemeye hazırım»، بينما الصواب «Ayt, men diñlemege azırım»: الجذور نفسها لكن الصيغة تركية. وعلى 524 طلب اختبار، بلغت حصة الرموز اللاتينية ذات الصيغة التركية في النسخة الجديدة 2,02% مقابل 0,27% في النسخة السابقة، أي أكثر بـ7,5 مرات. وقد عُيّر الكاشف من الجهتين: فهو يعطي 0,03% على نثر نقي بلغة تتار القرم، و11,75% على نص تركي حقيقي.

وبالأداة نفسها فحص المؤلف المدوّنة. ففي الشريحة التي تدرّبت عليها النسخة السابقة كانت الصيغ التركية 0,41%، وفي التالية 0,93%، أي 2,3 مرة أكثر. وتركّز التلف في بضعة أماكن: ثلاثة مصادر أنتجت 46% من كل الرموز الموسومة، وأربعة عشر مصدرًا أنتجت 76%. وتبيّن أن المصدر هو دوريات تصدر خارج القرم، يُكتب فيها نص لغة تتار القرم غالبًا على الطريقة التركية. أما عمليات الزحف الواسعة على الويب، التي اتهمها المؤلف أولًا، فتبيّن أنها الأنظف بين المصادر الكبيرة.

وأداة تحديد اللغة المعتادة عاجزة هنا: فهي تجيب عن سؤال «لغتنا أم لا؟»، وبين اللغات القريبة جذور مشتركة كثيرة جدًا. ومن بين أكثر من عشرة آلاف مقطع زائد وجدتها، لم تكن السمات التركية ظاهرة إلا في 40 منها. لذلك بُنيت الكواشف بالعكس: بحثت عن صيغ لا وجود لها في لغة تتار القرم، مثل اسم الفعل في حالة المفعول إليه بلاحقة «-meye» بدلًا من «-mege». وفُحص كل كاشف في الاتجاهين، واتُّخذ القرار على السطر كاملًا: فاللاحقة «-yor» وُجدت في مئات الأسطر، ولم يتبيّن أن أيًّا منها تركي. وكشف كاشف آخر عشرات المقاطع بالكازاخية والتتارية والأوزبكية. وانتقلت بضعة آلاف من المقاطع إلى الحجر مع بيان المصدر والقاعدة التي أثارتها، ولم يُحذف شيء.

لماذا تراجعوا عن الاستبدال التلقائي

كان الإغراء هو توحيد الكتابة التركية: k ← q وn ← ñ. وكانت القاعدة تسمح بالاستبدال إذا لم تكن الصيغة الأصلية في القاموس بينما الصيغة الناتجة فيه. طبّق المؤلف بضع مئات من هذه الاستبدالات على شريحة تجريبية، وراجع الفروقات، ثم تراجع عنها. فالقاموس يتحقق من أن الناتج كلمة من لغة تتار القرم، لكنه لا يتحقق من أنها الكلمة التي قُصدت. فكلمة «Balaların» («الأطفال») كانت تتحول إلى «balalarıñ» («أطفالك»)، و«atın» إلى «atıñ» («حصانك» بدل «الحصان»). والمُطبِّع الذي ينتج أخطاء معقولة المظهر أسوأ من مُطبِّع لا يفعل شيئًا. وبقيت الاستبدالات في ملف منفصل على سبيل الاقتراح.

أما الصيغ اللهجية، مثل «ben» في اللهجة الجنوبية الساحلية بدلًا من «men» الفصيحة، فلم تُنقَّ من المدوّنة رغم أن الكواشف التركية تتحسس منها: ففي إجابات النموذج تُحتسب فئة مستقلة.

الخلاصة العملية: احسبوا تركيبة الأرشيف قبل المعالجة المكلفة، وتحققوا من التصحيحات على بيانات سليمة يقينًا، وشغّلوا مقاييس الجودة على كل مصدر على حدة، ولا تتركوا الأتمتة «تصلح» ما لا تفهمه. والقيد المنهجي يُذكر بصراحة: فالتركية تتسرب جزئيًا عبر قاموس لغة قريبة، ولا توجد حماية بنسبة مئة بالمئة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول احسب أولًا ما في الأرشيف؟

توفّرت لدى المؤلف كتب ودوريات من سنوات مختلفة، وتسجيلات بث، وكتب مسموعة، وقواميس، وتسجيلات لمعلّمين. لم يكن شيء منها تقريبًا مجموعة بيانات جاهزة بمفرده: الكتاب يبقى ملف PDF، والبث ساعات من الصوت بلا نص، والكتاب المسموع صوته ونصه منفصلان. بدت الخطة بديهية: الكتب القديمة موجودة في معظمها على شكل صور ممسوحة، إذن نحتاج إلى OCR. لكنه يخطئ في هذه اللغة، خصوصًا في الحروف غير الموجودة في الروسية، ويستغرق وقتًا طويلًا وكلفته مرتفعة. قبل التشغيل، حسب المؤلف حصص الصفحات بحسب الفئات.

ما أبرز التفاصيل حول تركية تتنكّر في هيئة لغة تتار القرم؟

ذات مرة أجاب النموذج «Ayt, men dinlemeye hazırım»، بينما الصواب «Ayt, men diñlemege azırım»: الجذور نفسها لكن الصيغة تركية. وعلى 524 طلب اختبار، بلغت حصة الرموز اللاتينية ذات الصيغة التركية في النسخة الجديدة 2,02% مقابل 0,27% في النسخة السابقة، أي أكثر بـ7,5 مرات. وقد عُيّر الكاشف من الجهتين: فهو يعطي 0,03% على نثر نقي بلغة تتار القرم، و11,75% على نص تركي حقيقي. وبالأداة نفسها فحص المؤلف المدوّنة. ففي الشريحة التي تدرّبت عليها النسخة السابقة كانت الصيغ التركية 0,41%، وفي التالية 0,93%، أي 2,3 مرة أكثر.

ما أبرز التفاصيل حول لماذا تراجعوا عن الاستبدال التلقائي؟

كان الإغراء هو توحيد الكتابة التركية: k ← q وn ← ñ. وكانت القاعدة تسمح بالاستبدال إذا لم تكن الصيغة الأصلية في القاموس بينما الصيغة الناتجة فيه. طبّق المؤلف بضع مئات من هذه الاستبدالات على شريحة تجريبية، وراجع الفروقات، ثم تراجع عنها. فالقاموس يتحقق من أن الناتج كلمة من لغة تتار القرم، لكنه لا يتحقق من أنها الكلمة التي قُصدت. فكلمة «Balaların» («الأطفال») كانت تتحول إلى «balalarıñ» («أطفالك»)، و«atın» إلى «atıñ» («حصانك» بدل «الحصان»). والمُطبِّع الذي ينتج أخطاء معقولة المظهر أسوأ من مُطبِّع لا يفعل شيئًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…