Sakana AI تقدم DiffusionBlocks: طريقة جديدة لتدريب الشبكات العصبية على شكل كتل

قدمت Sakana AI تقنية DiffusionBlocks — طريقة ابتكارية تحول الشبكات العصبية المتبقية (residual networks) إلى وحدات قابلة للتدريب بشكل مستقل. الفكرة الأساسية: تفسير تحديثات الطبقات كخطوات إزالة الضوضاء العكسية، مع استعارة المفهوم من نماذج الانتشار.

ثورة في هندسة التدريب

التدريب التقليدي للشبكات العميقة عملية متزامنة: تمر التدرجات عبر جميع الطبقات، وكل طبقة تعتمد على تحديثات الطبقات المجاورة. هذا يخلق اختناقات في النماذج الكبيرة. تقدم DiffusionBlocks نهجاً مختلفاً.

إذا اعتبرنا كل طبقة من الشبكة المتبقية بمثابة خطوة في عملية الانتشار العكسية (reverse diffusion)، فيمكن تدريب كل وحدة باستخدام عملية إزالة ضوضاء خاصة بها. بعبارة أخرى، تصبح الطبقات شبه مستقلة.

أظهرت Sakana AI أن هذا التفسير ليس مثيراً للاهتمام من الناحية النظرية فحسب، بل يعمل عملياً أيضاً. النماذج المدربة باستخدام DiffusionBlocks تحافظ على الجودة وحتى تظهر تسارعاً في التقارب.

المزايا العملية

يوفر التدريب المستقل للكتل عدة فوائد ملموسة:

• التوازي بدون مزامنة: تدرب الكتل في نفس الوقت، ولا تنتظر بعضها البعض
• توفير الذاكرة: تخزن كل كتلة تدرجاتها الخاصة فقط، وليس الرسم البياني الكامل للحسابات
• مرونة الهندسة: يمكن إيقاف أو استبدال أو تحديث طبقات فردية دون إعادة التدريب بالكامل
• قابلية التوسع: الطريقة أفضل للأنظمة الموزعة والتدريب متعدد العقد
• تقليل حمل الاتصالات: بيانات أقل للتبادل بين العقد في المجموعة

أظهرت الاختبارات أنه على نفس الأجهزة، تتمتع النماذج ذات التدريب القياسي و DiffusionBlocks بسرعة تدريب متساوية تقريباً، لكن الخيار الأخير يتطلب مزامنة أقل.

لماذا هذا مهم

يعتبر تدريب الشبكات العصبية الكبيرة واحدة من المهام الهندسية الرئيسية في مجال الذكاء الاصطناعي المعاصر. كل ترتيب جديد من المعاملات (مليارات، تريليونات) يتطلب ثورة في البنية التحتية: رقائق متخصصة جديدة، خوارزميات محسّنة، أنظمة موزعة.

تعتبر DiffusionBlocks مثالاً على كيفية أن تؤدي الاختراقات النظرية (في هذه الحالة التفسير من خلال الانتشار) إلى تحسينات عملية. إذا حصل هذا الأسلوب على اعتماد واسع، فقد يقلل بشكل محتمل من تكاليف التدريب ويسرع التطوير.

هذا مهم بشكل خاص للشركات الناشئة ومجموعات البحث ذات الموارد المحدودة. إذا أصبحت DiffusionBlocks معياراً، فقد تساعد في جعل الوصول إلى تدريب النماذج عالية الأداء متاحاً للجميع.

ماذا يعني هذا

تمثل DiffusionBlocks مثالاً واضحاً على نقل الأفكار بين مختلف مجالات الذكاء الاصطناعي. المفهوم الذي ولد في سياق النماذج التوليدية (الانتشار) يُطبّق الآن على الهندسة الكلاسيكية (الشبكات المتبقية).

إذا أثبتت الطريقة قابلية التوسع في سيناريوهات الإنتاج، فقد تصبح معياراً صناعياً لتدريب النماذج الكبيرة.