تحسين الشبكات العصبية على وحدات GPU: كيف تُسرّع Together AI الذكاء الاصطناعي
كيّف فريق Together AI أنوية CUDA لوحدات GPU الجديدة من طراز Blackwell خلال أسبوع واحد، وهو عمل استغرق NVIDIA عامًا كاملًا. ويعود الفضل في ذلك إلى FlashAttention (2022) وThunderKittens. ويسدّ هذا الإنجاز الفجوة بين رياضيات النماذج والقدرة الفعلية للعتاد.
معالج بواسطة الذكاء الاصطناعي من Together AI Blog؛ بتحرير Hamidun News
طبّقت Together AI تحسين الشبكات العصبية على وحدات GPU، وأثبتت أن الفجوة بين النظرية والتطبيق في الذكاء الاصطناعي ليست أمرًا حتميًا، بل تحدٍّ مباشر أمام المهندسين.
لماذا تعمل الشبكات العصبية ببطء على وحدات GPU؟
السبب هو الفجوة بين النظرية والتطبيق: فالمطورون لا يأخذون دائمًا في الحسبان كل تفاصيل تفاعل النموذج مع العتاد. وقد سدّ مهندسو Together AI هذه الفجوة عبر تكييف الأنوية لوحدات Blackwell GPU خلال أسبوع واحد، وهو عمل استغرق NVIDIA عامًا كاملًا.
ما هي FlashAttention؟
هي تحسين لآلية الانتباه في المحوّلات (Transformer)، نُشر في مايو 2022. وفكرتها الأساسية أن تحسين آلية الانتباه في المحوّلات لم يكتمل بعد بأي حال، وأن هناك سبلًا كبيرة لتسريعها.
ما هي FlashAttention ومن طوّرها؟
FlashAttention هي ورقة بحثية عن تحسين آلية الانتباه في المحوّلات، نُشرت في مايو 2022 بقلم دان فو وتري داو. وفكرتها الرئيسية أن تحسين آلية الانتباه كان بعيدًا عن الاكتمال.
كم استغرقت Together AI لتكييف الأنوية لوحدات Blackwell GPU؟
أسبوعًا واحدًا. وللمقارنة، عملت NVIDIA على ذلك عامًا كاملًا بمشاركة عشرات المتخصصين.
كيف نجعل الشبكة العصبية تعمل بشكل أسرع؟
تستخدم Together AI تحسينات الأنوية الخاصة بآلية الانتباه في المحوّلات لتكييف النماذج مع وحدات GPU الجديدة. وخلال أسبوع واحد، أنجز الفريق عملًا استغرق NVIDIA عامًا كاملًا بمشاركة عشرات المتخصصين.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.