غير مبرمج يعيد تجربة HackerTube لكارباثي على Habr: 388 فيديو في أمسية واحدة

تتفوق توصيات YouTube في توقّع ما ستنقر عليه تالياً، لكنها لا تجيد العثور على محاضرة ستظل تفكر فيها بعد عام. في 31 أكتوبر، نشر أندريه كارباثي HackerTube: مجموعة تضم 6 454 فيديو دأب أعضاء Hacker News على التوصية بها بعضهم لبعض من 2007 إلى 2026. وبحسب قوله، كتب Claude الموقع داخل Claude Code في نحو ساعتين. وكرر كاتب مقال على Habr التجربة للمجتمع الناطق بالروسية، وسمّى النتيجة «HabTube».

كيف يعمل

مصدر البيانات هو أرشيف Habr المفتوح: 302 049 مقالاً وأكثر من 10 ملايين تعليق حتى فبراير 2023. استخرج سكربت منها 121 379 رابطاً لفيديوهات. ثم طُبّق معيار القبول نفسه الذي استخدمه كارباثي: يجب أن يوصي بالفيديو ثلاثة أشخاص مختلفين على الأقل في ثلاثة أشهر مختلفة. بهذه الطريقة، لا تجتاز المعيار طفرة عابرة في نقاش ساخن، بينما تجتازه الفيديوهات التي تستمر التوصيات بها لسنوات. وبلغ عددها 568.

كانت الخطوة الحاسمة قراءة النموذج للتعليقات. قرأ Claude كل تعليق مع عنوان المقال وصنّفه: يوصي بشدة، يوصي، يستشهد به كمصدر، يمزح، ينتقد. ولولا ذلك، لتصدّر مقلب الريكرول القائمة: فقد شاركه 22 شخصاً في 18 شهراً مختلفاً. وبعد استبعاد 88 فيديو حُذفت من YouTube، و84 من المزاح والمحتوى غير المفيد، و8 دون بيانات، بقي 388 فيديو. وكتب النموذج لكل منها وصفاً بالروسية، وحدد نوعه ومستواه وأرفق ملاحظة بشأن تقادم محتواه.

الموقع مجموعة ملفات ثابتة: ملف index.json واحد، وملف تعليقات منفصل لكل فيديو. تُحفظ الإعجابات وسجل المشاهدة في localStorage، ولا يوجد خادم بقاعدة بيانات، وتُستضاف الملفات كلها على Cloudflare Workers.

ست عقبات

قائمة العقبات أنفع من الموقع نفسه، لأنها شائعة في أي مشروع يتعامل مع بيانات ضخمة.

• تتطلب مجموعة البيانات الأصلية لإيليا غوسيف الموافقة على شروط الاستخدام، وتُرجع الخطأ 401. عثر الكاتب على نسخة مفتوحة، وتحقق من مخطط البيانات وعدد الصفوف عبر datasets-server، ولم يكتفِ بالاسم.
• يبلغ حجم الأرشيف 6,2 غيغابايت، بينما لا تتجاوز المساحة المتاحة على الحاسوب المحمول 4. كان الحل استئجار خادم وقراءة الأعمدة المطلوبة فقط من parquet على دفعات من 300 مقال. وتستغرق معالجة ملف يضم 10 آلاف مقال نحو 3 ثوانٍ.
• تأتي روابط YouTube بنحو عشرة تنسيقات: youtu.be وembed وshorts وlive وnocookie، مع وجود & داخل HTML. حلّ المشكلة تعبير نمطي واحد يتحقق من أن طول المعرّف ID يساوي 11 محرفاً بالضبط.
• يحظر YouTube عناوين الخوادم باعتبارها روبوتات. لذلك اضطر الكاتب إلى جمع البيانات الوصفية لـ564 فيديو مرة واحدة من عنوان اتصال منزلي.
• تسبب المعامل hl=ru في تشغيل الترجمة الروسية تلقائياً للمحاضرات الإنجليزية. وحُلّت المشكلة باستخدام cc_load_policy=0 وإلغاء تحميل وحدة captions.

أين يتفوق على الأصل وأين يتراجع

يقدم «HabTube» ما لا يقدمه HackerTube: تجاوز فقرات الرعاية عبر SponsorBlock؛ وحتى 4 نوفمبر، كانت هناك علامات توقيت لـ41 فيديو، تشمل 59 فقرة مدتها 42 دقيقة. كما يقدم أوصافاً روسية حتى للمحاضرات الإنجليزية. في المقابل، تضم مجموعة كارباثي فيديوهات أكثر بـ17 مرة، وبياناتها أحدث، إذ تمتد إلى 2026. أما بيانات HabTube فلا تزال تقتصر على الفترة المنتهية في فبراير 2023، ويجري تنزيل بقية تعليقات 2023–2026.

القيود والخلاصة

كتب النموذج الأوصاف، ولذلك قد يخطئ في التفاصيل؛ وأُرفقت التعليقات الأصلية أسفل كل وصف للتحقق. وفي روسيا، يتطلب تشغيل الفيديوهات استخدام VPN. ولم تجتز فيديوهات RuTube وVK معيار القبول إلا نادراً.

الدرس العملي لمديري المنتجات والمؤسسين: يمكن تنفيذ وصفة «مجموعة نصوص مفتوحة، ومعيار قبول يستند إلى أشخاص مستقلين، ونموذج لغوي كبير LLM لتصنيف النبرة، وموقع ثابت في النهاية» خلال أمسية واحدة ودون فريق. القيمة الأكبر هنا ليست في الكود، بل في التصفية: فلولا تصنيف المزاح ومقالب الريكرول، لكانت النتيجة خلاصة من الميمات. وإذا كان لدى مجتمعكم أرشيف نقاشات، فيمكنكم إنشاء مجموعة مماثلة بالطريقة نفسها. لكن تحققوا مسبقاً من إتاحة البيانات، ولا تنسوا أن منصات كثيرة تحظر عناوين IP الخاصة بالخوادم.