Synthèse de données pour langages rares : améliorer de 14 points la génération de code en Julia

Des chercheurs ont développé Selective Left-Shift, une méthode qui permet à de petits modèles de langage de générer du code de qualité dans des langages de programmation rares comme Julia et Ballerina. En testant l'approche sur Qwen3-8B, ils ont relevé la précision en Julia de 14.2 points, avec seulement un tiers des données d'entraînement et un sixième des ressources de calcul des approches précédentes.

Pourquoi les langages rares posent problème aux modèles

Les LLM actuels génèrent bien du code en Python et en Java, dont on trouve des millions d'exemples sur internet. Pour les langages rares (Julia, Ballerina, Nim), les performances chutent nettement. Tenter d'y remédier avec de petits modèles se heurte à trois obstacles.

• Manque de données d'entraînement pour la syntaxe spécifique d'un langage rare
• Coût élevé de la montée en charge du calcul pendant la génération de code
• Faible efficacité de l'apprentissage par renforcement mené à partir de zéro

Comment fonctionne Selective Left-Shift

Au lieu d'augmenter le calcul au moment de la génération, les chercheurs l'ont « décalé » vers la gauche, c'est-à-dire vers la préparation des données d'entraînement. Le pipeline en trois phases fonctionne ainsi :

Phase 1 : synthèse avec vérification. Le modèle génère du code dans le langage rare, puis un compilateur et des tests vérifient que la solution fonctionne. Un retour itératif améliore les exemples.

Phase 2 : fine-tuning sur données synthétiques. Qwen3-8B s'entraîne sur les exemples vérifiables et intègre la syntaxe du langage rare dans ses représentations.

Phase 3 : RL avec récompenses vérifiables. La récompense repose sur des tests d'entrée-sortie indépendants du langage. Le fine-tuning limite la recherche aux variantes syntaxiquement correctes, ce qui stabilise l'entraînement.

De combien la précision a progressé

Sur le benchmark MultiPL-E pour Julia, l'amélioration est de +7.6 points en pass@1 ; sur LiveCodeBench, de +14.2 points. L'acquis principal est l'économie de ressources.

• 3 fois moins de données d'entraînement qu'auparavant
• Les coûts de calcul ont été divisés par 6
• La méthode se généralise à Ballerina, un langage absent de l'entraînement, avec 49.7% de pass@1

Ce que cela change pour les développeurs

L'étude montre une manière efficace de travailler avec les langages rares : mieux vaut investir dans une synthèse et une vérification de qualité des données d'entraînement que dans l'agrandissement du modèle ou du calcul. C'est utile pour les langages internes et les langages jeunes, qui disposent de peu de code public sur internet.