MagicBeanStalk eleva o gpt-oss-120b de 61,2 para 69,8 pontos em matemática

Os autores do preprint do MagicBeanStalk afirmam que a maior parte dos dados abertos para RLVR é inútil para um modelo específico. No corpus matemático combinado, com 78K problemas, cerca de 88% deles, para uma política e um orçamento de rollouts fixos, ou são resolvidos em todas as tentativas ou falham em todas. O algoritmo proposto faz crescer recursivamente, a partir de problemas difíceis, novos problemas calibrados por dificuldade. Com isso, o gpt-oss-120b subiu de 61,2 para 69,8 pontos (+8,6) em oito benchmarks de matemática, e o DeepSeek v4Flash foi de 72,4 para 77,9 (+5,4), com orçamento de 16K tokens.

A armadilha da vantagem zero

O RLVR, aprendizado por reforço com recompensas verificáveis, costuma ser escalado pela quantidade de problemas. Os autores propõem outro critério: se o conjunto de dados fornece sinal útil a um modelo específico, com um orçamento específico. Eles descrevem a eficácia de um dataset como função de três variáveis: os próprios problemas, a política-alvo e o número de rollouts por etapa de treinamento.

Em métodos com normalização de recompensa em grupo, como o GRPO, se todas as tentativas de um problema têm o mesmo resultado, a vantagem é zero e não há gradiente. Segundo o artigo, é nessa situação que cai quase todo o corpus combinado de datasets populares de RLVR. Os problemas fáceis são sempre resolvidos, os difíceis nunca são, e não há o que aprender.

A filtragem ajuda em parte: ela concentra os problemas restantes que apresentam variação de resultados. Mas ela apenas seleciona e, ao fazer isso, descarta os exemplos mais difíceis, justamente aqueles que contêm o raciocínio de que o modelo precisa. A saída mais simples também falhou: pedir a um LLM professor que varie diretamente os problemas difíceis não produz a calibração necessária.

Como funciona o algoritmo

O MagicBeanStalk trabalha em duas passagens: decomposição descendente e síntese recursiva ascendente. A partir do problema original (seed), ele extrai as operações de raciocínio e as formas de compô-las, e depois monta com elas famílias de problemas fundamentalmente novos, preservando o «projeto de raciocínio» do original. A dificuldade é ajustada à política e ao orçamento: parte dos rollouts deve ser bem-sucedida, parte deve falhar, e pelo menos uma solução correta precisa caber no limite de treinamento.

Principais números do artigo:

• gpt-oss-120b: 61,2 → 69,8 (+8,6) em 8 benchmarks de matemática, com orçamento de 16K tokens;
• DeepSeek v4Flash: 72,4 → 77,9 (+5,4) nas mesmas condições;
• treinamento com o corpus original completo, de 78K problemas: apenas +1,1;
• melhor subconjunto filtrado de dados reais: +5,8;
• finanças: mais de 14K problemas verificáveis sintetizados a partir de apenas 340 soluções;
• ganho sobre a base em finanças: +6,9 no SecQue e +2,4 no FinanceBench.

A comparação com a filtragem é reveladora: os dados sintéticos superam o melhor recorte real em 2,8 pontos para o gpt-oss-120b. Já o tamanho do corpus, de 78K problemas, acaba sendo quase inútil.

O que as equipes que treinam modelos devem considerar

A conclusão prática é simples: antes de iniciar o RLVR, vale medir a fração de problemas com variância zero de resultados para o seu modelo e o seu orçamento de rollouts. Se ela estiver perto de 88%, boa parte da computação será desperdiçada, e é mais sensato calibrar o dataset do que aumentá-lo. O exemplo de finanças mostra que o método pode ser usado mesmo onde há poucos dados rotulados: 340 soluções bastaram para 14K problemas verificáveis.

As ressalvas são evidentes. Trata-se de um preprint em primeira versão, cujos resultados não passaram por revisão por pares e foram obtidos pelos próprios autores. O ganho em finanças é mais modesto que em matemática, e o método exige respostas verificáveis, ou seja, não pode ser aplicado em áreas sem um verificador claro. Reproduções independentes com outros modelos e orçamentos mostrarão o quanto as conclusões são robustas.