مجموعات البيانات لتدريب الشبكات العصبية: كيف تستخدم FineWeb (15 تريليون رمز)
FineWeb مدوّنة ويب مفتوحة من Hugging Face تضم أكثر من 15 تريليون رمز، وتُبنى عليها مرحلة التدريب المسبق للنماذج اللغوية الكبيرة. يوضح دليل جديد كيفية العمل معها دون تنزيل عدة تيرابايتات: تحميل عينة عبر البث المتدفق، وتصفية النصوص رديئة الجودة، وإزالة التكرار، والترميز. وقد نُفّذ ذلك كله بلغة Python، ويعمل على حاسوب محمول عادي.
معالج بواسطة الذكاء الاصطناعي من MarkTechPost؛ بتحرير Hamidun News
FineWeb من أكبر مجموعات البيانات المفتوحة لتدريب النماذج اللغوية والشبكات العصبية النصية، وقد أصدره فريق Hugging Face. ويتيح الدليل طريقة عملية لتحليل البيانات ومعالجتها دون تنزيل تيرابايتات على القرص المحلي.
ما هو FineWeb وكيف يمكن استخدامه لتدريب شبكة عصبية؟
FineWeb مدوّنة نصوص ويب خضعت للتصفية وإزالة التكرار، وتضم أكثر من 15 تريليون رمز. وهي مخصصة للتدريب المسبق للنماذج اللغوية، وتقوم على Common Crawl، وهو أرشيف مفتوح للإنترنت يزحف على مليارات صفحات الويب بمئات اللغات.
هل يمكن استخدام FineWeb مجانًا؟
نعم، FineWeb مجموعة بيانات مفتوحة من Hugging Face ومتاحة مجانًا. ويوضح الدليل في المقال كيفية العمل مع البث المتدفق وتصفية البيانات دون تنزيل عدة تيرابايتات على القرص المحلي.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.