تركيب البيانات للغات البرمجة النادرة: كيف تتحسن دقة توليد الأكواد بلغة Julia بمقدار 14 نقطة
طوّر باحثون منهج Selective Left-Shift لتحسين توليد الأكواد بلغات البرمجة النادرة. وبتطبيقه على نموذج Qwen3-8B، رفعوا الدقة على Julia بمقدار 14.2 نقطة. يتألف المنهج من ثلاث مراحل: تركيب بيانات يمكن التحقق منها عبر المترجم (compiler)، ثم ضبط دقيق (fine-tuning) على أمثلة اصطناعية، ثم تعلّم معزَّز (RL) باستخدام اختبارات مستقلة عن اللغة. وتحقّقت هذه النتيجة باستخدام ثلث البيانات فقط وبسدس تكلفة الأساليب السابقة.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
طوّر باحثون منهج Selective Left-Shift الذي يتيح للنماذج اللغوية الصغيرة توليد أكواد عالية الجودة بلغات برمجة نادرة مثل Julia وBallerina. واختبر الباحثون المنهج على نموذج Qwen3-8B، فرفعوا الدقة على Julia بمقدار 14.2 نقطة، مستخدمين ثلث بيانات التدريب فقط وسدس الموارد الحاسوبية التي تتطلبها الأساليب السابقة.
لماذا تمثّل اللغات النادرة تحدّيًا للنماذج
تولّد نماذج LLM الحديثة أكواد Python وJava بكفاءة جيدة، إذ تتوافر لهاتين اللغتين ملايين الأمثلة على الإنترنت. أما في اللغات النادرة (Julia وBallerina وNim) فينخفض الأداء انخفاضًا حادًا. ومحاولة تحسين الوضع باستخدام نماذج صغيرة تصطدم بثلاث عقبات.
- نقص بيانات التدريب الخاصة بصياغة اللغة النادرة وقواعدها النحوية
- ارتفاع تكلفة توسيع الحوسبة أثناء توليد الكود
- ضعف كفاءة التعلّم المعزَّز عند البدء به من الصفر
كيف يعمل Selective Left-Shift
بدلًا من زيادة الحوسبة لحظة التوليد، «أزاح» الباحثون هذه الحوسبة إلى اليسار، أي إلى مرحلة إعداد بيانات التدريب. ويعمل خط المعالجة ثلاثي المراحل على النحو التالي:
المرحلة 1: التركيب مع التحقق. يولّد النموذج كودًا بلغة نادرة، ثم يتحقق المترجم والاختبارات من صلاحية الحل. وتحسّن التغذية الراجعة المتكررة هذه الأمثلة.
المرحلة 2: الضبط الدقيق (fine-tuning) على بيانات اصطناعية. يتدرّب Qwen3-8B على أمثلة يمكن التحقق منها، فتترسّخ صياغة اللغة النادرة في تمثيلاته الداخلية.
المرحلة 3: التعلّم المعزَّز (RL) بمكافآت قابلة للتحقق. تستند المكافأة إلى اختبارات إدخال وإخراج مستقلة عن اللغة. ويحصر الضبط الدقيق البحث في الصيغ السليمة نحويًا فقط، ما يجعل التدريب أكثر استقرارًا.
ما مقدار التحسّن في الدقة
على معيار MultiPL-E للغة Julia بلغ التحسّن +7.6 نقطة في pass@1، وعلى LiveCodeBench بلغ +14.2 نقطة. ويكمن الإنجاز الرئيسي في توفير الموارد.
- استُخدمت بيانات تدريب أقل بثلاث مرات مما كان سابقًا
- انخفضت التكاليف الحاسوبية بمقدار 6 مرات
- يتعمّم المنهج على لغة Ballerina التي لم تكن ضمن التدريب، إذ سجّل 49.7% في pass@1
ماذا يعني ذلك للمطوّرين
تُظهر الدراسة طريقة فعّالة للتعامل مع اللغات النادرة: الأجدى استثمار الموارد في تركيب بيانات التدريب والتحقق منها بجودة عالية، لا في توسيع النموذج أو الحوسبة. وهذا مفيد للغات البرمجة الداخلية والناشئة التي يقلّ فيها الكود العام المتاح على الإنترنت.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.