Синтез данных для редких языков: как улучшить код-генерацию на Julia в 14 раз

Investigadores han desarrollado el método Selective Left-Shift, permitiendo que modelos de lenguaje pequeños generen código de alta calidad en lenguajes de programación raros como Julia y Ballerina. Probando el enfoque en el modelo Qwen3-8B, aumentaron la precisión en Julia en 14,2 puntos porcentuales, utilizando solo un tercio de los datos de entrenamiento y una sexta parte de los recursos computacionales de enfoques anteriores.

Por qué los lenguajes raros son desafiantes para los modelos

Los LLMs modernos generan código bien en Python y Java — hay millones de ejemplos de estos lenguajes en internet. Para lenguajes raros (Julia, Ballerina, Nim), el rendimiento cae drásticamente. Intentar mejorar la situación utilizando modelos pequeños enfrenta una barrera triple.

• Falta de datos de entrenamiento específicos para la sintaxis de lenguajes raros
• Altos costos computacionales durante el escalado al generar código
• Baja eficiencia del aprendizaje por refuerzo desde cero

Cómo funciona Selective Left-Shift

En lugar de aumentar los recursos computacionales durante la generación, los investigadores los "desplazaron" hacia la izquierda — hacia la preparación de datos de entrenamiento. El pipeline de tres fases funciona así:

Fase 1: Síntesis con verificación. El modelo genera código en un lenguaje raro; el compilador y las pruebas verifican si la solución funciona. La retroalimentación iterativa mejora los ejemplos.

Fase 2: Fine-tuning en datos sintéticos. Qwen3-8B se entrena en ejemplos verificables, incrustando la sintaxis del lenguaje raro en sus representaciones.

Fase 3: RL con recompensas verificables. La recompensa se basa en pruebas de entrada-salida independientes del lenguaje. El fine-tuning restringe la búsqueda a variantes sintácticamente correctas, haciendo que el aprendizaje sea más estable.

Cuánto mejoró la precisión

En el benchmark MultiPL-E para Julia, la mejora fue de +7,6 puntos porcentuales pass@1; en LiveCodeBench — +14,2 puntos porcentuales. El logro principal es la economía de recursos.

• El uso de datos de entrenamiento se redujo 3 veces en comparación con antes
• Los costos computacionales se redujeron 6 veces
• El método se generaliza a Ballerina, un lenguaje no presente en el entrenamiento — 49,7% pass@1

Qué significa esto para los desarrolladores

La investigación muestra una forma eficiente de trabajar con lenguajes raros: es mejor invertir recursos en síntesis y verificación de alta calidad de datos de entrenamiento que en escalar el modelo o los recursos computacionales. Esto es útil para lenguajes de programación internos y emergentes, donde hay poco código público en internet.