كاتب في Habr درّب Random Forest على 81 مقالا فاكتشف تسربا للبيانات ونسخا حرفيا من LLM

تحصد بعض المقالات على Habr بضعة آلاف من المشاهدات، بينما يقرأ مقالات أخرى مئات الآلاف. قرر صاحب مقال عن منصة Kwork حقق 30 000 مشاهدة البحث عن الأسباب باستخدام Python وتعلم الآلة. وكانت النتيجة تجربة صغيرة لكنها مفيدة، بدت أخطاؤها أكثر إثارة للاهتمام من أرقامها النهائية.

كيف جُمعت البيانات

احتاج التدريب إلى عينة متباينة: 80 مقالا لكتاب آخرين من قسم «Freelance» على Habr، نصفها من الخلاصة الحديثة والنصف الآخر من أفضل المقالات على الإطلاق، إضافة إلى مقال الكاتب نفسه. بلغ الإجمالي 81 صفا. سجل الكاتب لكل مقال طول العنوان، وعدد الكلمات والصور والروابط وكتل الشيفرة، إلى جانب المشاهدات بعد تحويل صيغ مثل «30K» إلى أعداد صحيحة. كما احتفظ بأول 3000 حرف من كل نص لتقييمها بواسطة نموذج لغوي.

ثم بدأت مرحلة الوسم باستخدام LLM: جاذبية العنوان للنقر، وجودة المقدمة، ومدى سخونة الموضوع، وسهولة القراءة، على مقياس من 1 إلى 10. أعاد نموذج Gemma المجاني عبر OpenRouter خطأ 429 على الفور بسبب التحميل الزائد على مجموعة الموارد. لذلك انتقل الكاتب إلى Qwen3 4B محلي داخل LM Studio على جهاز Mac mini M4. عالج النموذج المقالات الـ81 كلها، لكنها حصلت جميعا على الدرجات نفسها: 7 و6 و8 و7. واتضح أن السبب بسيط: هذه هي الأرقام نفسها التي وضعها الكاتب في المطالبة بوصفها مثال JSON. لم يحلل النموذج ذو 4 مليارات معلمة النصوص، بل كان ينسخ القالب.

الاستنتاج بسيط: لا بد من فحص نتائج هذا النوع من الوسم، كأن يُتحقق مثلا من عدد القيم الفريدة في كل عمود. أضاف الكاتب هذا الفحص، واستبدل درجات النموذج بسمات تُحسب باستخدام التعبيرات النمطية: هل يتضمن العنوان سؤالا أو أرقاما أو كلمات محفزة مثل «المال» أو «العميل»، وكم صورة توجد لكل 1000 كلمة.

ما الذي أظهرته Random Forest

عند استخدام لوغاريتم عدد المشاهدات، أعطى النموذج الأوزان التالية. يمثل طول العنوان 34,5% من التأثير، وحجم النص 26,3%، بينما تمثل الروابط والصور مجتمعة 33,7%. ولا تسهم كتل الشيفرة إلا بنسبة 0,3%، وهو أمر منطقي في قسم عن العمل الحر، إذ يأتي القراء للاطلاع على مواقف العمل لا على مقتطفات الشيفرة.

وجاءت المقارنة بين المجموعات على النحو التالي. في أعلى 20% من المقالات، عند عتبة 148 000 مشاهدة، بلغ متوسط طول العنوان 46,9 حرفا، مقابل 61,9 في المقالات الضعيفة و71 في مقال الكاتب. وبلغ حجم النص في المقالات المتصدرة نحو 1774 كلمة، مقابل 1255 في المقالات الضعيفة و766 في مقال الكاتب. واحتوت النصوص المتصدرة في المتوسط على 4,2 صورة و4,8 رابطا، بينما تضمن مقال الكاتب صورة واحدة ولم يتضمن أي رابط.

تسرب البيانات والاختبار النزيه

بعد ذلك كتب المؤلف أداة للتنبؤ: مصنف يقدر فرصة تحقيق 25 000 مشاهدة، ونموذج انحدار يتنبأ بعدد المشاهدات. وقارن المقال الخام بنسخة «محسنة» ذات عنوان أقصر، لكن المقال الخام فاز على نحو غير متوقع. وهناك سببان لذلك. أولا، ظل مقاله الذي حقق 30 000 مشاهدة ضمن عينة التدريب، فحفظت الأشجار غير المقيدة بعمق محدد معاييره ببساطة. وهذا تسرب بيانات تقليدي. ثانيا، عوقب الرقم المضاف إلى العنوان: تظهر الأرقام في المقالات الضعيفة بمعدل يزيد ثلاث مرات على المقالات المتصدرة، 0,3 مقابل 0,1، بسبب دراسات الحالة الإعلانية في الخلاصة الحديثة.

بعد التصحيح، بإزالة المقال من مجموعة train وتحديد عمق الأشجار عند max_depth=4، أصبحت الصورة منطقية. حصل الهيكل الأصلي على احتمال نجاح قدره 26% وتوقع بلغ 14 795 مشاهدة. أما النسخة المحسنة، بعنوان من 46 حرفا و1800 كلمة و4 صور و5 روابط، فحصلت على 41% وتوقع بلغ 34 919 مشاهدة. وكانت المشاهدات الفعلية للمقال الأصلي، والبالغة 30 000، ضعف التوقع: فالنموذج لا يرى سوى «التغليف»، ولا يرى الموضوع. ولتقدير التشتت، أضاف الكاتب المدى الربيعي لتوقعات الأشجار الـ200 كلها.

ما الذي ينبغي استخلاصه

ينبغي تذكر القيود: 81 سجلا من قسم واحد، وانحياز في العينة، إذ تقارن الخلاصة الحديثة بأفضل المقالات على الإطلاق، وعدم وجود اختبار على بيانات محجوزة. لذلك تمثل الأرقام مؤشرات إرشادية أكثر مما تمثل قوانين. لكن هناك درسان عامان. الأول: لا تضعوا في المطالبة مثالا جاهزا للمخرجات يتضمن أرقاما حقيقية، وتحققوا دائما من إجابات النماذج الصغيرة. والثاني: يجب ألا يدخل العنصر الذي تختبرون النموذج عليه في عملية التدريب، كما ينبغي تقييد عمق الأشجار.

أما الإرشادات العملية للنشر في قسم مشابه فهي: عنوان من 45–50 حرفا، ونص من 1500–1800 كلمة، وأربع صور توضيحية على الأقل، و4–5 روابط. وقد كتب المؤلف نفسه مقالا جديدا وفق هذه المعايير، ووعد بمقارنة عدد المشاهدات الفعلي بالنطاق الذي يتوقعه النموذج.