Синтез данных для редких языков: как улучшить код-генерацию на Julia в 14 раз

Des chercheurs ont développé la méthode Selective Left-Shift, permettant aux petits modèles de langage de générer du code de haute qualité dans des langages de programmation rares comme Julia et Ballerina. En testant l'approche sur le modèle Qwen3-8B, ils ont augmenté la précision en Julia de 14,2 points de pourcentage, en utilisant seulement un tiers des données d'entraînement et un sixième des ressources informatiques des approches précédentes.

Pourquoi les langages rares sont difficiles pour les modèles

Les LLMs modernes génèrent bien du code en Python et Java — il y a des millions d'exemples de ces langages sur internet. Pour les langages rares (Julia, Ballerina, Nim), les performances chutent considérablement. Tenter d'améliorer la situation en utilisant de petits modèles fait face à un triple obstacle.

• Manque de données d'entraînement spécifiques à la syntaxe des langages rares
• Coûts informatiques élevés lors de la mise à l'échelle lors de la génération de code
• Faible efficacité de l'apprentissage par renforcement à partir de zéro

Comment fonctionne Selective Left-Shift

Au lieu d'augmenter les ressources informatiques lors de la génération, les chercheurs les ont « décalés » vers la gauche — vers la préparation des données d'entraînement. Le pipeline à trois phases fonctionne ainsi :

Phase 1 : Synthèse avec vérification. Le modèle génère du code dans un langage rare ; le compilateur et les tests vérifient que la solution fonctionne. Les retours itératifs améliorent les exemples.

Phase 2 : Fine-tuning sur données synthétiques. Qwen3-8B est entraîné sur des exemples vérifiables, intégrant la syntaxe du langage rare dans ses représentations.

Phase 3 : RL avec récompenses vérifiables. La récompense est basée sur des tests d'entrée-sortie indépendants du langage. Le fine-tuning restreint la recherche à des variantes syntaxiquement correctes, rendant l'apprentissage plus stable.

De combien la précision s'est-elle améliorée

Sur le benchmark MultiPL-E pour Julia, l'amélioration a été de +7,6 points de pourcentage pass@1 ; sur LiveCodeBench — +14,2 points de pourcentage. Le principal résultat est l'économie de ressources.

• L'utilisation de données d'entraînement a été réduite de 3 fois par rapport à avant
• Les coûts informatiques ont été réduits de 6 fois
• La méthode se généralise à Ballerina, un langage non présent dans l'entraînement — 49,7% pass@1

Ce que cela signifie pour les développeurs

La recherche montre un moyen efficace de travailler avec les langages rares : il vaut mieux investir des ressources dans la synthèse et la vérification de haute qualité des données d'entraînement que dans la mise à l'échelle du modèle ou des ressources informatiques. Ceci est utile pour les langages de programmation internes et émergents où il y a peu de code public sur internet.