243 ألف نص لنموذج صغير بـ 29 مليون معامل: كيف انتقى المؤلف بيانات من ويكيبيديا وكتب علم النفس

يجهّز مؤلف سلسلة على Habr، الذي لا يعدّ نفسه مبرمجاً، البيانات لنموذج صغير بـ 29 مليون معامل. الرقم 243 ألف في العنوان هو عدد النصوص التي تبقى في عينة التدريب. يأخذ المؤلف 200 ألف فقرة من ويكيبيديا الروسية و50 ألف فقرة من كتب علم النفس. بعد حذف التكرارات يبقى 248 379 نصاً، يذهب 4 967 منها إلى فحص الجودة، ويبقى 243 412 للتدريب.

لماذا نحتاج إلى هذه النصوص؟ التضمين (embedding) هو متجه من الأعداد يتحول إليه النص ليتمكن الحاسوب من مقارنة النصوص من حيث المعنى. يتعلم النموذج الصغير (الطالب) إنتاج متجهات مماثلة لتلك التي ينتجها النموذج الكبير (المعلّم). يُسمى هذا الأسلوب التقطير (distillation). الهدف النهائي للسلسلة، وهي من عشرة أجزاء، هو الحصول على تضمينات متساوية الخواص (isotropic)، أي متجهات تملأ الفضاء بالتساوي بدلاً من أن تتكتل في حزمة ضيقة. في الجزء الثاني يتناول المؤلف البيانات: من أين تؤخذ، وكيف تُنظَّف، وكم نحتاج منها فعلاً. كتب الشيفرة كلها نموذج الذكاء الاصطناعي DeepSeek، أما المؤلف فتولّى تنقيح الأخطاء وتصحيحها.

ويكيبيديا من أرشيف بحجم 380 ميغابايت: تحليل في دقيقة

يلزم نوعان من النصوص. تمنح المدونة العامة الطالب تغطية واسعة للمواضيع. وبدونها سيُفرط النموذج في التكيّف مع مجال ضيق ويعمل بشكل سيئ على النصوص الغريبة عنه. أما مدونة علم النفس المتخصصة فتعلّمه خصوصية المهمة التي بدأ المشروع من أجلها.

يبلغ حجم الأرشيف الكامل لويكيبيديا الروسية نحو 5,5 غيغابايت مضغوطاً، وهذا كثير على Colab ذي القرص المحدود. والحل في نسخة multistream: الأرشيف نفسه لكنه مقسّم إلى مئات الملفات الصغيرة. نزّل المؤلف أحدها، ruwiki-latest-pages-articles-multistream1.xml-p1p224167.bz2، بحجم 380 ميغابايت. كان 100–200 ميغابايت من النص الصافي كافية لـ 250 ألف نص، لكن الناتج بلغ 1,24 مليون فقرة و835,9 ميغابايت.

استُخرج النص بأداة WikiExtractor مع الخيار --no-templates لتجنّب قوالب الويكي، وبأربع عمليات متوازية. السرعة: 1185 مقالة في الثانية، أي نحو 76 ألف مقالة خلال 64 ثانية.

بعد ذلك تبقى ثلاثة أنواع من الشوائب:

• عناوين الأقسام على نحو == История ==؛
• أقواس فارغة () في مكان القوالب المحذوفة؛
• السطر الأول داخل <doc> الذي يكرر عنوان المقالة.

ينظّف السكربت ذلك كله بالتعابير النمطية (regular expressions) ويستبعد الفقرات التي تقل عن 40 حرفاً. من الآثار الجانبية أن عبارة «المساحة — 65 300 كم²» تتحول إلى «المساحة — كم²». يرى المؤلف أن ذلك غير ضار: فالأعداد تُقسَّم على أي حال إلى وحدات فرعية (subtokens، أي أجزاء صغيرة من الكلمات)، والأهم في التضمين هو سياق الجملة.

علم النفس: 587 ملفاً وحد أدنى عشر كلمات

جُمعت المدونة المتخصصة من مجموعة شخصية من الكتب بصيغة .md: علم النفس والعلاج النفسي والطب النفسي والإحصاء الرياضي لعلماء النفس والتشريح وعلم وظائف الأعضاء. لا ينشر المؤلف النصوص نفسها. يزيل السكربت وسوم Markdown وHTML، ويدمج الكلمات المقطوعة بواصلات في نهاية السطر، ويُبقي فقط على السطور التي لا تقل عن عشر كلمات. بهذا تختفي أرقام الصفحات والترويسات والعناوين المنفردة.

الحصيلة:

• 587 ملفاً؛
• 382 327 فقرة؛
• نحو 18,9 مليون كلمة؛
• 258,4 ميغابايت.

لماذا يؤخذ 243 ألف نص من أصل 1,36 مليون؟

يبدأ الأمر بمرشح الطول (60–800 حرف) ونسبة الحروف (55% على الأقل)، وهو يستبعد بقايا الجداول والصيغ. بعده يبقى في ويكيبيديا 1 056 981 فقرة، وفي علم النفس 330 714. يحتفظ المؤلف بالمدونة الكاملة المؤلفة من 1 359 942 نصاً فريداً احتياطاً: فإن لم تكفِ البيانات، فلن يحتاج إلى إعادة تحليل ويكيبيديا من جديد.

أما عينة التدريب فتؤخذ مقتطعة: 200 ألف نص من ويكيبيديا و50 ألف من علم النفس مع seed ثابت (القيمة الابتدائية لمولّد الأعداد العشوائية). بعد إزالة التكرارات (deduplication) يبقى 248 379 نصاً، منها 49 484 نصاً نفسياً. إذا ظهر سطر في المصدرين معاً، يُنسب إلى علم النفس. بعد ذلك يذهب 2% (4 967 نصاً) إلى التحقق (validation)، أي فحص الجودة، ويبقى 243 412 للتدريب. تُحفظ فهارس سطور المجال المتخصص في الجزء التدريبي في مصفوفة منفصلة domain_indices.npy، وعددها 48 477، أما البقية فوقعت في مجموعة التحقق. وبفضل ذلك يمكن لاحقاً تقييم الجودة على علم النفس وحده.

سبب التقليص هو التكلفة. يتدرب الطالب المؤلف من ثلاث طبقات على GPU من نوع T4 في Colab. تستغرق الحقبة الواحدة (epoch، أي مرور كامل على البيانات) مع batch_size=64 على الحجم الكامل 15–20 دقيقة، ومع 3–10 حقب تصل المدة إلى ساعات. أما البند الأكبر في التكلفة فهو المعلّم: عليه حساب التضمينات لكل نص تدريبي، وحتى على GPU يستغرق ذلك عشرات الدقائق مع 1,33 مليون مثال. وعينة من 243 ألف نص أرخص بـ 5–6 مرات، وتكفي للدورة الأولى.

ما الذي يمكن للمهندس أن يستفيد منه؟

• تغني الأجزاء الصغيرة من أرشيف ويكيبيديا بنمط multistream عن تنزيل 5,5 غيغابايت، وتناسب القرص المحدود.
• الاحتفاظ بالمدونة الكاملة على القرص رخيص: يمكن إعادة أخذ عيّنات منها بحصص أخرى خلال 28 ثانية.
• نسبة المجال المتخصص في التدريب، وهي نحو 20%، مرجع معقول للتقطير لمهمة ضيقة.
• للنهج عيوب. يحتفظ السكربت الأول بنحو 800 ميغابايت في الذاكرة، ويرد حجم corpus.txt في النص برقمين مختلفين (753,8 و718,9 ميغابايت). وهذا مقبول لتجربة على Colab.

تتناول بقية السلسلة تضمينات المعلّم وتدريب الطالب.