أظهر Habr AI كيفية بناء Linear Layer باستخدام C++ وCUDA في سلسلة «من MNIST إلى Transformer»

أصدرت هابر إيه آي الجزء الثالث من سلسلة "من MNIST إلى Transformer"، حيث تحلل الانتقال من المصفوفات العادية إلى الموترات وتوضح كيفية بناء طبقة Linear أساسية من الصفر بدون PyTorch. توجه المادة القارئ عبر شبكة عصبية بسيطة للتعرف على MNIST وتركز على ليس واجهات برمجة التطبيقات للمكتبات، بل على كيفية تنفيذ هذه العمليات بالفعل على معالج الرسومات.

حول الجزء الثالث

تواصل المقالة الجديدة المسار من كود CUDA منخفض المستوى إلى الأنماط المعمارية التي يتم بناء Transformers و LLM الحديثة عليها لاحقاً. بدلاً من التجريدات الجاهزة، يقترح المؤلف النظر مباشرة إلى الحسابات: كيف تقع البيانات في الذاكرة، وكيف يطلق معالج الرسومات العمليات، ولماذا حتى طبقة شبكة عصبية أساسية تتطلب قدراً كبيراً من العمل الهندسي. هذا تنسيق جيد لأولئك الذين تعبوا من إدراك أطر عمل التعلم الآلي كسحر من سطر واحد من الكود.

التحول الرئيسي في هذا الجزء هو الانتقال من المصفوفات إلى الموترات. للتعلم الآلي التطبيقي، هذا موضوع أساسي لأن البيانات الحقيقية نادراً ما تقتصر على بعدين. يوضح المؤلف كيف يتغير تفكير المطور عندما يبدأ في العمل ليس فقط مع جداول الأرقام، بل مع الهياكل متعددة الأبعاد، التي يتم من خلالها تجميع الدفعات ووزن الطبقات والتمثيلات الوسيطة والعناصر الأخرى للنموذج المستقبلي. على هذا المستوى بالذات يبدأ التحضير لفهم الكتل الأكثر تعقيداً مثل الانتباه والتضمينات.

ما الذي ينفذونه يدويًا

تم بناء الجزء العملي حول كود مخصص في C++ و CUDA. لا توجد محاولة لإخفاء التعقيد خلف واجهة مريحة: بدلاً من ذلك، يُعرض على القارئ طريق من الصيغة الرياضية إلى التنفيذ اليدوي. هذا النهج مفيد لأنه يربط الجبر الخطي المجرد بخطوات التطوير المحددة - وضع البيانات واستدعاءات النواة والتحقق من أشكال الأبعاد وفهم المكان الذي تظهر فيه الأخطاء أو فقدان الأداء. بدون هذا الرابط، من الصعب الشعور بالفرق بين مثال كتابي ونظام حقيقي.

• تنفيذ ضرب الموترات
• إنشاء أول طبقة Linear، أي طبقة متصلة بالكامل
• العمل مع الذاكرة ووضع البيانات على معالج الرسومات
• ربط الرياضيات والكود للتدريب على MNIST
• بناء شبكة بسيطة للتعرف على الأرقام المكتوبة بخط اليد

"فقط بهذه الطريقة يمكنك حقاً فهم كيفية عمل نماذج اللغة الكبيرة."

بعد تنفيذ العمليات الأساسية، تقود المقالة إلى طبقة متصلة بالكامل مخصصة وثم إلى شبكة صغيرة للتعرف على الأرقام المكتوبة بخط اليد من MNIST. هذه لحظة مهمة: المادة لا تتوقف عند العناصر الأولية الفردية، بل توضح كيفية تجميعها في سلسلة عاملة. في الوقت نفسه، يصبح واضحاً أن حتى مصنفاً بسيطاً يعتمد على مجموعة عميقة جداً من المعرفة - من الرياضيات إلى هيكل ذاكرة الفيديو وخصائص الحوسبة المتوازية.

لماذا هذا مهم

تكمن قيمة هذه التحليلات في أنها تزيل الوهم بسهولة الأمر الذي غالباً ما تخلقه مغلفات Python. عندما يرى المطور فقط استدعاءات المكتبة الجاهزة، يصعب عليه تقييم تكلفة كل عملية وفهم سبب اصطدام النموذج فجأة بحد الذاكرة أو نطاق العرض أو قيد حجم الدفعة. يساعد التحليل على مستوى الموترات والطبقات على قراءة جهازات التحليل بشكل أفضل وتصميم العمارة بعناية أكبر واختيار المقابلات بين السرعة والدقة وتعقيد التنفيذ بوعي أكبر.

سلسلة "من MNIST إلى Transformer" مفيدة بشكل خاص لأولئك الذين يريدون ليس فقط تشغيل نماذج الآخرين، بل فهم آليات أنظمة الذكاء الاصطناعي الحديثة. لا تعد بدخول سريع وتحذر مباشرة: سيكون هناك الكثير من الكود و CUDA والرياضيات والعمل اليدوي مع الذاكرة. لكن هذا الشكل بالذات هو الذي يوفر الأساس الذي سيكون مفيداً سواء عند تحسين الاستدلال أو عند قراءة تنفيذات CUDA للآخرين، وعند محاولة فهم السبب في أن بعض القرارات المعمارية تعمل بشكل أسرع من غيرها.

ما الذي يعنيه هذا

بالنسبة للجمهور الناطق بالروسية، هذه إشارة جيدة: يتحول الطلب من البرامج التعليمية السطحية إلى التحليل الهندسي لأحشاء مكدس الذكاء الاصطناعي. كلما زهرت مثل هذه المواد، قل إدراك نماذج اللغة الكبيرة كصناديق سوداء وأصبح من الأسهل على المطورين الانتقال من استخدام النماذج الجاهزة إلى ضبطهم وتحسينهم الواعي. هذا مهم بشكل خاص الآن، عندما ينمو الطلب على تحسين معالج الرسومات وفهم آليات النماذج بسرعة كبيرة بين المهندسين العمليين.