Síntesis de datos para lenguajes poco comunes: cómo mejorar 14 puntos la generación de código en Julia

Un equipo de investigadores ha desarrollado Selective Left-Shift, un método que permite a los modelos de lenguaje pequeños generar código de calidad en lenguajes de programación poco comunes, como Julia y Ballerina. Al probar el enfoque con Qwen3-8B, elevaron la precisión en Julia en 14.2 puntos usando solo un tercio de los datos de entrenamiento y una sexta parte de los recursos de cómputo de los enfoques anteriores.

Por qué los lenguajes poco comunes son difíciles para los modelos

Los LLM actuales generan bien código en Python y Java, de los que hay millones de ejemplos en internet. En lenguajes poco comunes (Julia, Ballerina, Nim) el rendimiento cae en picado. Intentar mejorarlo con modelos pequeños choca con tres obstáculos.

• Faltan datos de entrenamiento para la sintaxis específica de un lenguaje raro
• Escalar el cómputo durante la generación de código es caro
• El aprendizaje por refuerzo desde cero es poco eficiente

Cómo funciona Selective Left-Shift

En lugar de aumentar el cómputo en el momento de la generación, los investigadores lo «desplazaron» a la izquierda, hacia la preparación de los datos de entrenamiento. El pipeline de tres fases funciona así:

Fase 1: síntesis con verificación. El modelo genera código en el lenguaje raro, y un compilador y varias pruebas comprueban si la solución funciona. La retroalimentación iterativa mejora los ejemplos.

Fase 2: fine-tuning con datos sintéticos. Qwen3-8B se entrena con ejemplos verificables e incorpora la sintaxis del lenguaje raro en sus representaciones.

Fase 3: RL con recompensas verificables. La recompensa se basa en pruebas de entrada y salida independientes del lenguaje. El fine-tuning limita la búsqueda a variantes sintácticamente correctas, lo que estabiliza el entrenamiento.

Cuánto mejoró la precisión

En el benchmark MultiPL-E para Julia, la mejora fue de +7.6 puntos en pass@1; en LiveCodeBench, de +14.2 puntos. El logro principal es el ahorro de recursos.

• 3 veces menos datos de entrenamiento que antes
• Los costes de cómputo se redujeron 6 veces
• El método se generaliza a Ballerina, un lenguaje ausente del entrenamiento, con un 49.7% de pass@1

Qué significa para los desarrolladores

El estudio muestra una forma eficaz de trabajar con lenguajes poco comunes: es mejor invertir recursos en una síntesis y verificación de calidad de los datos de entrenamiento que en escalar el modelo o el cómputo. Esto resulta útil para lenguajes internos y jóvenes, con poco código público en internet.