DSGym: فريمورك لتدريب وكلاء العلوم البيانات مع 90+ مهمة علمية

نشرت Together AI إطار عمل DSGym الموحد لتقييم وتدريب وكلاء LLM الذين يحلون مهام العلوم البيانية. تعاني المعايير الحالية من واجهات برمجية غير متوافقة، وكثير من المهام يمكن حلها دون تحليل حقيقي للبيانات. يحل DSGym هذه المشكلة بدمج 192 مهمة جديدة من المعلوماتية الحيوية و Kaggle في نظام بيئي موحد مع توليد اصطناعي للبيانات لتدريب الوكلاء.

لماذا المعايير الحالية لا تعمل

يعاني النهج الحالي لتقييم وكلاء العلوم البيانية من التجزئة. تستخدم معايير مختلفة واجهات برمجية غير متوافقة وتنسيقات بيانات ومقاييس تقييم مختلفة، مما يجعل المقارنة العادلة والتكامل في نظام موحد أمراً صعباً. إعادة تنفيذ دعم كل معيار مكلفة وتتطلب إعادة كتابة الكود. علاوة على ذلك، يمكن حل العديد من المهام في المعايير الحالية دون تحليل البيانات. يمكن للوكيل ببساطة أن يخمن النتيجة أو يجد الإجابة على الإنترنت أو يطبق حلاً نموذجياً لا يتطلب فهماً للمشكلة الحقيقية.

كيف يعمل DSGym

يحل DSGym هذه المشكلة من خلال واجهة JSON موحدة. توصف كل مهمة بأربعة مكونات: مجموعة البيانات ونص الاستعلام ومقياس التقييم والبيانات الوصفية. يسمح هذا بإضافة مهام وأدوات واستراتيجيات وكلاء جديدة دون إعادة بناء الإطار بأكمله. يتم تنفيذ كود الوكلاء في حاويات تُخصص في الوقت الفعلي مع المكتبات المثبتة مسبقاً. تضمن هذه البنية الأمان (بيئة معزولة)، والقابلية للتكرار (دائماً نفس الحالة)، ونزاهة التقييم (يعمل الوكيل في بيئة الإنتاج وليس في بيئة التطوير).

المهام المضمنة في DSGym

ينقسم الإطار إلى فئتين رئيسيتين:

• تحليل البيانات — البحث عن إجابات للأسئلة من خلال التحليل البرمجي للبيانات المنظمة
• التنبؤ بالبيانات — تطوير خطوط أنابيب ML من طرف إلى طرف للتنبؤ والتصنيف
• DSBio — 90 مهمة من المعلوماتية الحيوية مستخرجة من الأوراق العلمية المنشورة
• DSPredict — 92 مسابقة من Kaggle، تشمل السلاسل الزمنية والرؤية الحاسوبية والنمذجة الجزيئية
• MLEBench و QRData — معايير كلاسيكية مدمجة من الأعمال السابقة

تُولّد البيانات الاصطناعية للتدريب من خلال خط أنابيب خاص. يقوم النظام بتنفيذ الاستعلامات وتسجيل مسارات الحل الكاملة وإنشاء أمثلة بصيغة (المهمة والكود والنتيجة). من 3700 مثال تم توليده تلقائياً، اختار المؤلفون 2000 مثال عالي الجودة من خلال تصفية LLM.

النتائج: تقنية أحدث بين النماذج المفتوحة

دربوا نموذج بـ 4 مليارات معامل على البيانات الاصطناعية، وحقق أداء متقدمة (SOTA) بين نماذج LLM مفتوحة المصدر للعلوم البيانية. يدل هذا على أن البيانات الاصطناعية عالية الجودة المولدة من الإطار كافية لتدريب وكلاء تنافسية دون استخدام مجموعات بيانات مغلقة.

ماذا يعني هذا

يحول DSGym وكلاء العلوم البيانية من موضوع بحثي إلى أداة عملية. تقلل المنصة الموحدة وآلية توليد البيانات الاصطناعية من حاجز الدخول — يمكن لأي فريق الآن تدريب وكيله الخاص دون ملايين الأمثلة. بالنسبة للشركات الناشئة ومختبرات البحث والفرق الداخلية، يفتح هذا الفرصة للنماذج الأولية والتحسين السريع لأنظمة تحليل البيانات المؤتمتة.