Síntese de dados para linguagens raras: como melhorar em 14 pontos a geração de código em Julia

Pesquisadores desenvolveram o Selective Left-Shift, método que permite a modelos de linguagem pequenos gerar código de qualidade em linguagens de programação raras, como Julia e Ballerina. Ao testar a abordagem no Qwen3-8B, eles elevaram a precisão em Julia em 14.2 pontos usando só um terço dos dados de treinamento e um sexto dos recursos computacionais das abordagens anteriores.

Por que linguagens raras são difíceis para os modelos

Os LLMs atuais geram bem código em Python e Java, que têm milhões de exemplos na internet. Em linguagens raras (Julia, Ballerina, Nim), o desempenho despenca. Tentar melhorar isso com modelos pequenos esbarra em três obstáculos.

• Falta de dados de treinamento para a sintaxe específica de uma linguagem rara
• Custo alto de escalar a computação durante a geração de código
• Baixa eficiência do aprendizado por reforço feito do zero

Como funciona o Selective Left-Shift

Em vez de aumentar a computação no momento da geração, os pesquisadores a "deslocaram" para a esquerda, para a preparação dos dados de treinamento. O pipeline de três fases funciona assim:

Fase 1: síntese com verificação. O modelo gera código na linguagem rara, e um compilador e testes verificam se a solução funciona. O feedback iterativo melhora os exemplos.

Fase 2: fine-tuning com dados sintéticos. O Qwen3-8B é treinado com exemplos verificáveis e incorpora a sintaxe da linguagem rara em suas representações.

Fase 3: RL com recompensas verificáveis. A recompensa se baseia em testes de entrada e saída independentes da linguagem. O fine-tuning restringe a busca a variantes sintaticamente corretas, o que deixa o treinamento mais estável.

Quanto a precisão melhorou

No benchmark MultiPL-E para Julia, a melhora foi de +7.6 pontos em pass@1; no LiveCodeBench, de +14.2 pontos. A principal conquista é a economia de recursos.

• 3 vezes menos dados de treinamento que antes
• Os custos computacionais caíram 6 vezes
• O método se generaliza para Ballerina, linguagem ausente do treinamento, com 49.7% de pass@1

O que isso significa para desenvolvedores

O estudo mostra um jeito eficaz de trabalhar com linguagens raras: vale mais investir recursos em síntese e verificação de qualidade dos dados de treinamento do que em escalar o modelo ou a computação. Isso é útil para linguagens internas e jovens, com pouco código público na internet.