وكيل يعتمد على الأسئلة يرفع نواة CUDA إلى 1,13× من سرعة FlashAttention-3 مقابل 0,50

اقترح باحثون من Carnegie Mellon University وصفة غير مألوفة للوكلاء الذين يحسّنون نوى GPU: فبدلًا من تزويد النموذج بتقارير محلّل الأداء (profiler) المفكَّكة، والبحث في الوثائق، ومخزن «الدروس المستفادة»، تُطرح عليه أسئلة قصيرة في اللحظات المناسبة. في المهمة نفسها، وبالمقيّم نفسه، وعلى عقدة H200 نفسها وفي الأسبوع نفسه، وصل هذا الوكيل إلى 1,13 من سرعة FlashAttention-3 بالمتوسط الهندسي على 26 تكوينًا. أما الوكيل المستقل المبني وفق المخطط السائد اليوم فتوقف عند 0,50 بعد 133 خطوة.

بين النص المبرمج والبحث الحر

يصف المؤلفون معسكرين. الوكلاء المبرمجون (scripted) يثبّتون مسبقًا ما يفعله النموذج في كل خطوة: سياسة مدرَّبة، وقائمة تحسينات، وأدوار صارمة. وهم يقتصدون في المحاولات حيث تناسب الوصفة، ويتعثرون حيث لا تناسب. فعلى سبيل المثال، ينهار أداء Autocomp من دون قائمة التحسينات، أما نهج RL ذو الحلقة الثابتة، الذي ينافس على مشغّلات منفردة، فيفشل على النماذج المدمجة (fused).

الوكلاء المفتوحون مثل AVO يمنحون النموذج حرية تحوير مجموعة من النوى، ويدفعون الثمن في عدد المحاولات. وبحسب الورقة، درس وكيل AVO خلال سبعة أيام أكثر من 500 اتجاه ليثبّت 40 نسخة، واحتاج إلى مشرف (supervisor) للخروج من حلقات التعديلات الفاشلة. ونحو 30% من الأسطر التي تضيفها هذه الوكلاء تتطابق بايتًا ببايت مع أسطر حُذفت سابقًا، كما يتبيّن أن بعض مرشحات CUDA التي عُثر عليها بالطريقة التطورية غير صحيحة.

يتعامل المعسكران مع الأهداف المعقدة بالطريقة نفسها: يمنحان الوكيل مزيدًا من المعلومات. ويرى المؤلفون أن الناقص شيء آخر، هو الاتجاه، أي فرضية عن موضع الفجوة المتبقية. نماذج LLM ضعيفة في التحسين المفتوح: تبحث بجشع، وتتشبث بالحل الوارد في المطالبة (prompt)، وتتوقف مبكرًا، وتعلن الاكتمال خلافًا لبيانات البيئة.

كيف تعمل الطريقة

لم يُحفظ اسم الوكيل نفسه في النص المتاح، لكن بنيته موصوفة بوضوح. يبدأ الأمر بنواة CUDA جاهزة ومجموعة سيناريوهات وهدف. ثم ثلاثة أجزاء: غلاف تقييم minimal، ووكيل برمجي عام دون سيناريو مسبق، ومصدر للأسئلة.

يبني المقيّم المرشح بأمر واحد، ويقارن الخرج بالمرجع وبمرجع fp32 في كل سيناريو، ويقيس الزمن مقابل النواة الأصلية على وحدة GPU نفسها. وتُفحص القيود آليًا: يُراقَب حظر CUTLASS وCuTe وcuBLAS وcuDNN عبر الرموز في الملف الثنائي المبني. صِيغ الهدف على شكل Stop-hook: حين يحاول الوكيل إنهاء دوره يُحسب شرط (predicate)، وإذا لم تتحقق الشروط يُعاد الوكيل إلى العمل. ويجب أن يغطي الشرط كل سيناريو لا المتوسط، وإلا ضبط الوكيل المتوسط على الأشكال المريحة. وفي المرة الوحيدة التي أُسند فيها الحكم إلى نموذج قاضٍ، قبِل إعلانًا سابقًا لأوانه بالاكتمال، ثم ألغاه الإنسان.

تُطرح الأسئلة في خمس نقاط نموذجية: في بداية الحملة، وعند الثبات (plateau)، وحين يعلن الوكيل بلوغ الحد الأقصى أو الاكتمال، وبعد مكسب كبير يثير الشك، وحين يفسّر عطلًا في الصحة. ومن أمثلة الورقة: «هل تتفوق النواة الأساسية في الدورات (cycles) أم في زمن الجدار فقط؟» سؤال كهذا محدود وقابل للتحقق، ولكي يجيب عنه يستطيع النموذج إعادة كتابة جزء من النواة لم يكن ليقترب منه من تلقاء نفسه.

من بين 162 رسالة بشرية، كان الأكثر تكرارًا: فحوص القياسات (13)، والمقارنة بتقدير الحد (10)، وصلاحية المعيار (7)، وتحليل الفجوات (7). وبين الأسئلة يعمل الوكيل بمفرده: نحو 71 استدعاء أداة لكل رسالة. وبحسب المؤلفين، جاءت كل المكاسب الكبيرة بعد سؤال نقل الوكيل إلى مستوى آخر من النظام أو شكّك في حد أعلنه، لا بعد سؤال قدّم معلومات جديدة.

ما النتيجة وأين التحفظات

نوى التمرير الأمامي النهائية لـFlashAttention على Hopper وBlackwell هي ملفات CUDA مفردة بلا CUTLASS وCuTe وcuBLAS وcuDNN. وهي صحيحة في جميع السيناريوهات الـ182 على Hopper (وعلى Blackwell في جميع السيناريوهات القابلة للتشغيل)، وتحقق بالمتوسط الهندسي 1,16 من FlashAttention-3 و1,46 من FlashAttention-4، بما في ذلك 1,10 من FA4 على الأشكال الإنتاجية. استغرق ذلك كله 16 جلسة ونحو 11,5 ألف استدعاء أداة.

جمع المؤلفون الأسئلة المتكررة في بنك: 101 مدخل أساسي في عشر مجموعات، وخمسة مداخل لحالة وجود تنفيذ آخر للمقارنة، و18 مدخلًا مرتبطًا بالمعماريات. لكن 29 مدخلًا فقط مؤكدة بالتتبعات (traces)، أما الـ72 المأخوذة من مصادر عامة فلم تُتحقق بعد. وكانت النسخة الأولى من البنك، المؤلفة من 48 سؤالًا، منحازة إلى حالة واحدة: 21 سؤالًا أشار إلى النواة المرجعية، و13 سؤالًا إلى بنية الانتباه. وقد أُزيل ذلك من نسخة الإصدار.

التحفظات واضحة. فهذه حالة واحدة، هي الانتباه، الذي له مرجع قوي. والأسئلة في التجارب طرحها إنسان، أما الاستخدام المستقل للبنك فاختباره أضعف. وقد أنشأ المؤلفون بأنفسهم المقارنة مع الوكيل «المجهّز» بالأدوات، وإن كان ذلك بأسلوب AVO. في المقابل، وُعد بنشر شيفرة النوى والمقيّم وبنك الأسئلة وجميع التتبعات، ما يتيح إعادة التحقق من النتيجة.