Синтез данных для редких языков: как улучшить код-генерацию на Julia в 14 раз

Pesquisadores desenvolveram o método Selective Left-Shift, permitindo que pequenos modelos de linguagem gerem código de alta qualidade em linguagens de programação raras como Julia e Ballerina. Testando a abordagem no modelo Qwen3-8B, aumentaram a precisão em Julia em 14,2 pontos percentuais, usando apenas um terço dos dados de treinamento e um sexto dos recursos computacionais de abordagens anteriores.

Por que linguagens raras são desafiadoras para modelos

LLMs modernos geram código bem em Python e Java — há milhões de exemplos dessas linguagens na internet. Para linguagens raras (Julia, Ballerina, Nim), o desempenho cai drasticamente. Tentar melhorar a situação usando modelos pequenos enfrenta uma barreira tripla.

• Falta de dados de treinamento específicos para a sintaxe de linguagens raras
• Altos custos computacionais durante o dimensionamento ao gerar código
• Baixa eficiência do aprendizado por reforço do zero

Como funciona o Selective Left-Shift

Em vez de aumentar os recursos computacionais durante a geração, os pesquisadores os "deslocaram" para a esquerda — para a preparação dos dados de treinamento. O pipeline de três fases funciona assim:

Fase 1: Síntese com verificação. O modelo gera código em uma linguagem rara; compilador e testes verificam se a solução funciona. O feedback iterativo melhora os exemplos.

Fase 2: Fine-tuning em dados sintéticos. Qwen3-8B é treinado em exemplos verificáveis, incorporando a sintaxe da linguagem rara em suas representações.

Fase 3: RL com recompensas verificáveis. A recompensa é baseada em testes de entrada-saída independentes de linguagem. O fine-tuning restringe a busca a variantes sintaticamente corretas, tornando o aprendizado mais estável.

Quanto a precisão melhorou

No benchmark MultiPL-E para Julia, a melhoria foi de +7,6 pontos percentuais pass@1; no LiveCodeBench — +14,2 pontos percentuais. O principal resultado é a economia de recursos.

• Uso de dados de treinamento reduzido 3 vezes em relação ao anterior
• Custos computacionais reduzidos 6 vezes
• Método generaliza para Ballerina, linguagem não presente no treinamento — 49,7% pass@1

O que isso significa para desenvolvedores

A pesquisa demonstra uma forma eficiente de trabalhar com linguagens raras: é melhor investir recursos em síntese e verificação de alta qualidade dos dados de treinamento do que em dimensionar o modelo ou os recursos computacionais. Isso é útil para linguagens de programação internas e emergentes, onde há pouco código público na internet.