وكيل يُطرح عليه الأسئلة يتفوق على وكيل مزوّد بالأدوات: 113% مقابل 50% من سرعة FlashAttention-3

تُعدّ نوى GPU السريعة لآلية الانتباه (attention) أساس سرعة تدريب النماذج الكبيرة وتشغيلها، لكن كتابتها يدويًا تستغرق وقتًا طويلًا: فكل جيل جديد من بطاقات الرسوميات يتطلب إعادة كتابتها، وتحتاج الفرق الخبيرة إلى أشهر لإنجاز ذلك. وقد اختبر باحثون من Carnegie Mellon University إمكانية إسناد هذه المهمة إلى وكيل برمجة، وخلصوا إلى نتيجة غير متوقعة. فما يساعد الوكيل المتعثر ليس أدوات جديدة ولا مزيدًا من الحرية، بل سؤال قصير في اللحظة المناسبة.

ففي المهمة نفسها، توقف الوكيل المزوّد بمجموعة الأدوات الكاملة عند 50% من سرعة FlashAttention-3 (نواة الانتباه المرجعية لبطاقات Hopper) بعد 133 خطوة. أما الوكيل الذي وُجّهت إليه الأسئلة فبلغ 113% على 26 تهيئة نفسها. والمغزى للمطوّر هو أن الوكيل إذا تعثر، فالأرجح أنه يفتقر إلى فرضية عن موضع المشكلة، لا إلى مزيد من البيانات.

لماذا لا تنقذ الأدوات الموقف؟

يقع وكلاء تحسين النوى اليوم على طرفَي طيف. فالوكلاء المبنيون على سيناريوهات يحددون كل خطوة بصرامة: سياسة مدرَّبة، وقائمة تحسينات، وأدوار ثابتة. وما دامت الوصفة مناسبة فهم مقتصدون، وإذا لم تعد مناسبة تعثّروا. أما الوكلاء الأحرار فيُطوّرون مجموعة النوى بأنفسهم عبر الطفرات، لكنهم يدفعون ثمن هذه الحرية آلاف عمليات التشغيل والتعديلات المتكررة والمرشحات الخاطئة. ففي إحدى الدراسات السابقة، جرّب وكيل من هذا النوع خلال سبعة أيام أكثر من 500 اتجاه وأصدر 40 نسخة، واحتاج إلى مشرف يراقبه كي يخرج من حلقات التعديلات الفاشلة. ونحو 30% من الأسطر التي يضيفها هذا النوع من الوكلاء تتطابق بايتًا ببايت مع أسطر حُذفت سابقًا.

وأمام الهدف الصعب تستجيب المدرستان بالطريقة نفسها: تمنحان الوكيل المزيد. ناتج مُحلّل أداء مفسَّر، وتحليلًا للمُفكِّك (disassembler)، وبحثًا في الوثائق، ومخزنًا لـ«الدروس المستفادة». ويرى المؤلفون أن الوكيل لا ينقصه شيء من المعلومات. فالنماذج تتشبث بأول حل تجده، وتتوقف مبكرًا، وتدور في حلقة بين خيارات متشابهة تقريبًا، وتعلن إتمام المهمة في حين يُظهر الفحص عكس ذلك.

كيف يغيّر السؤال المهمة؟

أمر «اجعله أسرع» أمر مفتوح، والنموذج يجيب عنه بجشع، فيعدّل ما هو قريب منه. أما سؤال «هل تتفوق بدورات الساعة في النواة أم بالزمن الفعلي فقط؟» فمحدَّد، وللإجابة عنه سيحلّل الوكيل جزءًا من النواة ويعيد كتابته، وهو جزء ما كان ليلمسه من تلقاء نفسه. والسؤال الجيد لا يتضمن جوابًا جاهزًا: فهو يسمّي فرضية لم يفكر فيها الوكيل، ويمكن التحقق منها بوسائل عادية، أي بالقياس.

والشيفرة المخصصة الوحيدة في هذه الطريقة هي إطار التحقق (harness). فأمر واحد يبني النسخة المرشحة، ويقارن مخرجاتها بمخرجات النواة الأصلية وبالمرجع بدقة fp32، ويقيس السرعة في كل سيناريو قياسًا إلى النواة الأصلية، ثم يحسب متوسط التسارع الهندسي. ويُصاغ الهدف شرطَ توقف قابلًا للتحقق، لا طلبًا موجَّهًا إلى النموذج. وتصل الأسئلة في لحظات توقف التقدم، وحين يعلن الوكيل «هذا هو الحد الأقصى» أو «انتهيت»، وبعد أي مكسب كبير يبعث على الشك. في البداية يطرحها الإنسان، ثم تُجمع الأسئلة المتكررة في بنك يستخدمه الوكيل بنفسه. كما دُمجت الطريقة في بحث تطوري تُصاغ فيه توجيهات الطفرات على هيئة أسئلة.

ما النتائج؟

أنتجت الحملات الكاملة نوى للمرور الأمامي لآلية الانتباه على Hopper وBlackwell: ملف CUDA واحد دون CUTLASS وCuTe وcuBLAS وcuDNN. وهي صحيحة في جميع السيناريوهات الـ182 لكل بنية (وفي Blackwell على جميع السيناريوهات القابلة للتشغيل). وبمتوسط هندسي، فهي أسرع من FlashAttention-3 بمقدار 1,16 مرة، أي بنسبة 16%، وأسرع من FlashAttention-4 بمقدار 1,46 مرة، أي بنسبة 46%. وعلى أشكال الطلبات الإنتاجية بلغ التفوق على FlashAttention-4 نحو 1,10 مرة. ويصف المؤلفون هذه النوى بأنها الأسرع بين النوى المفتوحة من هذه الفئة في السيناريوهات التي جرى فحصها.

وإحصاءات التدخلات لافتة: 162 رسالة من الإنسان و11,5 ألف استدعاء للأدوات في 16 جلسة. ولا تعني الأسئلة أن الوكيل استخدم الأدوات بدرجة أقل، بل استخدمها بطريقة مختلفة. فقد جاء كل مكسب كبير بعد سؤال نقل الوكيل إلى طبقة أخرى من النظام أو دحض الحد الأقصى الذي أعلنه، ولم يأتِ أي مكسب بعد رسالة اكتفت بتقديم معلومات.

والتحفظات واضحة. فقد بنى المؤلفون الوكيل المستقل المستخدم للمقارنة بأنفسهم على غرار الأعمال السابقة. والتجربة واحدة، ولها مرجع قوي للقياس. ويؤدي الإنسان جزءًا من عمل التوجيه. وقد نشر الباحثون النوى وإطار التحقق وبنك الأسئلة وجميع المسارات (traces).

الخلاصة العملية: قبل ربط أداة أخرى أو طبقة بحث إضافية، حدّد هدفًا قابلًا للتحقق على جميع السيناريوهات، وأعدّ أسئلة للحظات التوقف، وإعلان الحد الأقصى، والفوز الكبير أكثر مما ينبغي.