Синтез данных для редких языков: как улучшить код-генерацию на Julia в 14 раз
Исследователи разработали метод Selective Left-Shift для улучшения код-генерации на редких языках программирования. Применив его к модели Qwen3-8B, они повысили точность на Julia на 14.2 пункта. Метод состоит из трёх этапов: синтез верифицируемых данных через компилятор, fine-tuning на синтетических примерах и обучение с подкреплением на языко-агностичных тестах. Результат достигнут при использовании только трети данных и шестой части стоимости предыдущих подходов.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
طوّر الباحثون طريقة Selective Left-Shift، التي تمكن نماذج اللغة الصغيرة من توليد أكواد عالية الجودة بلغات برمجة نادرة مثل Julia و Ballerina. وباختبار المنهج على نموذج Qwen3-8B، حسنوا دقة Julia بمقدار 14.2 نقطة مئوية، باستخدام ثلث بيانات التدريب فقط وسدس الموارد الحسابية للمنهجيات السابقة.
لماذا تكون اللغات النادرة صعبة على النماذج
تولد نماذج اللغة الكبيرة الحديثة الأكواد بشكل جيد في Python و Java — هناك ملايين الأمثلة لهذه اللغات على الإنترنت. بالنسبة للغات النادرة (Julia و Ballerina و Nim)، يهبط الأداء بشكل حاد. محاولة تحسين الوضع باستخدام نماذج صغيرة تواجه عقبة ثلاثية.
- نقص البيانات التدريبية المتخصصة بقواعد اللغات النادرة
- تكاليف حسابية عالية عند توسع نطاق توليد الأكواد
- فعالية منخفضة للتعلم المعزز من الصفر
كيف يعمل Selective Left-Shift
بدلاً من زيادة الموارد الحسابية أثناء التوليد، حوّل الباحثون تركيزهم نحو اليسار — إلى مرحلة تحضير بيانات التدريب. يعمل خط الأنابيب ثلاثي المراحل على النحو التالي:
المرحلة 1: التجميع مع التحقق. ينتج النموذج أكواداً بلغة نادرة؛ يتحقق المترجم والاختبارات من أن الحل يعمل. تحسن ردود الفعل المتكررة الأمثلة.
المرحلة 2: الضبط الدقيق على البيانات الاصطناعية. يتم تدريب Qwen3-8B على أمثلة قابلة للتحقق، مما يضمن دمج قواعد اللغة النادرة في تمثيلاته.
المرحلة 3: التعلم المعزز بمكافآت قابلة للتحقق. تستند المكافأة على اختبارات المدخلات والمخرجات المستقلة عن اللغة. يقيّد الضبط الدقيق البحث إلى المتغيرات الصحيحة من الناحية النحوية، مما يجعل التعلم أكثر استقراراً.
كم تحسنت الدقة
على معيار MultiPL-E لـ Julia، كان التحسن +7.6 نقاط مئوية pass@1؛ على LiveCodeBench — +14.2 نقاط مئوية. الإنجاز الرئيسي هو توفير الموارد.
- تم تقليل استخدام بيانات التدريب بمعدل 3 مرات مقارنة بالسابق
- تم تقليل التكاليف الحسابية بمعدل 6 مرات
- تعمم الطريقة على Ballerina، لغة لم تكن موجودة في التدريب — 49.7% pass@1
ماذا يعني هذا للمطورين
يوضح البحث طريقة فعالة للعمل مع اللغات النادرة: من الأفضل استثمار الموارد في تجميع التحقق عالي الجودة من بيانات التدريب بدلاً من توسع النموذج أو الموارد الحسابية. هذا مفيد للغات البرمجة الداخلية والناشئة حيث يوجد القليل من الأكواد العامة على الإنترنت.
هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟
AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.