NVIDIA Open-SWE-Traces: إعداد البيانات لعملية fine-tuning لوكلاء كتابة الكود

أطلقت NVIDIA مجموعة البيانات Open-SWE-Traces — مجموعة من جلسات الوكلاء الذكيين متعددة الخطوات الفعلية التي تحل مهام تطوير البرامج. يشرح البرنامج التعليمي خط الأنابيب الكامل: من بث البيانات إلى مجموعة بيانات جاهزة للضبط الدقيق الموجه.

ما هو Open-SWE-Traces

تحتوي مجموعة البيانات على آلاف مسارات الوكلاء: كل واحدة عبارة عن سجل جلسة كامل، حيث يتلقى الذكاء الاصطناعي مهمة هندسية، ويستدعي الأدوات تدريجياً (قراءة الملفات، تشغيل الاختبارات، البحث عن الأكواد)، ويكرر الحل، وينتج مصححة نهائية. هذا يختلف جوهرياً عن مجموعات البيانات النموذجية للسؤال والجواب: هنا يتم التقاط ليس فقط ما كانت النتيجة، بل كيف وصل الوكيل إليها.

كل سجل يحتوي على بيانات وصفية منظمة:

• طول المسار — عدد خطوات الوكيل
• قائمة الأدوات المستخدمة وتكرار الاستدعاء
• حجم الفرق النهائي بسطور الأكواد
• لغة البرمجة للمهمة
• علم للحل الناجح أو غير الناجح

البيانات مستضافة على Hugging Face وتدعم البث — يمكنك العمل مع مجموعة البيانات في Google Colab بدون تحميل كامل، وهو أمر مهم نظراً لأحجام عدة جيجابايتات.

كيف يتم بناء خط الأنابيب

يشرح البرنامج التعليمي عدة مراحل معالجة. الأولى هي تطبيع الحوارات. يتم تحويل جلسات الوكيل متعددة الخطوات إلى صيغة موحدة: يتم محاذاة رسائل المستخدم وردود الوكيل واستدعاءات الأدوات في تسلسل. هذا ضروري لأن إصدارات الوكيل المختلفة تسجل الجلسات بشكل مختلف.

الثاني هو تحليل المصححات. يتم استخراج رمز التغييرات نفسه من الإخراج النهائي للوكيل بصيغة موحدة للفرق. تصبح هذه المصححة 'الإجابة' في مثال التدريب.

الثالث هو تجميع DataFrame تحليلي. لكل مسار، يتم حساب المقاييس الرئيسية: ميزانيات الرموز في مراحل مختلفة من تشغيل الوكيل، التوزيع عبر الأدوات، إحصائيات النجاح حسب اللغة وأنواع المهام.

الترشيح للضبط الدقيق الموجه

الخطوة الأخيرة هي اختيار أمثلة للتدريب. يطبق المؤلفون سلسلة من المرشحات.

حسب علامات النجاح — فقط المسارات التي تحتوي على حلول ناجحة تدخل العينة. التدريب على جلسات فاشلة بدون علامات خاصة محفوف بالمخاطر: سيتعلم النموذج الأنماط غير الصحيحة.

حسب الرموز — يتم تصفية المسارات الأطول من الحد المحدد. الأمثلة الطويلة جداً لا تناسب السياق مع إعدادات التدريب القياسية.

حسب اللغة — إذا كنت تحتاج إلى وكيل متخصص لـ Python أو JavaScript، فإن الترشيح يحتفظ بالأمثلة ذات الصلة فقط.

بوجود المصححة — الجلسات بدون رمز نهائي عديمة الفائدة لمهمة SFT، حيث يجب على النموذج تعلم إخراج نتيجة محددة.

"جودة بيانات التدريب أهم من الكمية — خاصة بالنسبة لآثار الوكلاء، حيث

يمكن للجلسات الفاشلة أن تعزز أنماطاً سيئة في النموذج".

ماذا يعني هذا

Open-SWE-Traces من NVIDIA هي واحدة من أولى مجموعات البيانات العامة التي تحتوي على مسارات حقيقية للوكلاء لمهام الهندسة. يوفر البرنامج التعليمي قالباً عملياً: من البيانات الخام على Hugging Face إلى مجموعة بيانات SFT جاهزة في بضعة أسطر من الأكواد. بالنسبة للفرق التي تبني وكلاء كتابة الأكواد الخاصة بهم، هذا نقطة انطلاق جاهزة دون الحاجة إلى جمع البيانات من البداية.