Shan Yang destrinchou o ganho do RL: 82% vêm da capacidade de caber no orçamento de tokens

O aprendizado por reforço com base no resultado (outcome RL) eleva o pass@1 de modelos de raciocínio, mas o pass@k não cresce para valores maiores de k. Isso foi mostrado por Yue e coautores em 2025. Shan Yang levantou uma questão que costuma ficar fora desse debate: todo pass@1 é medido com um orçamento limitado de tokens, e as receitas de RL também são treinadas com esse limite.

Ele comparou 20 modelos RL publicados, de 1,5B a 32B, com os modelos thinking a partir dos quais eles foram treinados, em tarefas de física e matemática com orçamentos fixos. A conclusão: na maior parte, o RL ensina o modelo a chegar à resposta e a fazer isso de forma mais estável. Ele quase não abre tarefas novas.

Três componentes de um mesmo ganho

O autor divide cada variação de pass@1 em três partes:

• Finishing — o modelo conseguiu responder antes de esgotar o orçamento de tokens.
• Reliability — a resposta está correta quando o modelo chega ao fim.
• Reach — tarefas que o modelo RL resolve e a base falhou em todas as oito tentativas, menos as tarefas que a base resolve e o modelo RL falhou em todas as oito.

Essa decomposição responde à pergunta sobre a natureza do ganho: uma mudança de comportamento ou um conhecimento novo.

Onde o RL ajuda a terminar a resposta

Quando a base esbarra com frequência no limite de tokens, quase toda a variação, positiva e negativa, vem de finishing: 82% com orçamentos de 4k e 8k. Se a base recebe mais tokens, ela mesma fecha a maior parte dessa diferença. Muitos modelos thinking raciocinam por muito tempo e simplesmente não conseguem entregar a resposta final em uma janela apertada. O RL os ensina a caber no orçamento com o qual foram treinados.

Se a base tem tokens suficientes, o ganho vem de reliability. O modelo RL recebe nota correta com mais frequência, inclusive em tarefas que os dois modelos concluem. Ou seja, o RL melhora também o próprio caminho da solução, e não apenas o tamanho da resposta.

Reach: soluções novas raras e sua verificação

Pela definição do autor, o RL raramente resolve o que está fora do alcance da base. Em qualquer um dos quatro conjuntos de física e matemática, o reach acrescenta no máximo 2,1 ponto percentual.

O autor também verificou casos individuais. Ele pegou 144 tarefas de física resolvidas apenas pelo modelo RL e as reamostrou ou leu as soluções. Só 3,5% passaram na verificação. As demais «vitórias» se mostraram obra do acaso ou raciocínios errados com resposta adivinhada. Em uma segunda verificação, feita em uma amostra aleatória de novos passos de raciocínio confirmados por humanos, nove em cada dez também aparecem nas amostras do modelo base. O RL tende mais a escolher o que a base já sabia fazer do que a inventar algo novo.

Um pequeno experimento de RL com 8B

Em uma rodada pequena de RL em um modelo de 8B, o ganho em tarefas novas voltou a ser de finishing, e a reliability não mudou. O autor também tentou incluir em cada tarefa a descrição de sua formulação física. Essa abordagem não trouxe melhora em relação ao RL convencional.

O que isso significa para quem trabalha na prática

Para quem compara modelos, a principal conclusão diz respeito à metodologia. Uma tabela de pass@1 com um único orçamento pequeno mistura habilidade de resolução com a capacidade de caber no limite. É preciso verificar os resultados com vários orçamentos e observar quanto do ganho desaparece quando a base recebe mais tokens. Caso contrário, é fácil confundir o benefício de um raciocínio mais curto com aumento de capacidade.

Para quem treina modelos, o quadro é mais pé no chão. Se a receita de RL é limitada por um teto rígido de tokens, você compra, antes de tudo, respostas concluídas e só depois confiabilidade. Ampliar os limites de capacidade por esse caminho ainda não tem funcionado. Nesse caso, vale comparar o RL com alternativas mais baratas: aumentar o orçamento na inferência ou usar destilação. Conhecimento novo exige outras fontes de sinal, e elas devem ser verificadas com filtros tão rigorosos quanto os usados nas 144 tarefas do autor, das quais poucas se sustentaram.

É possível checar os resultados por conta própria. O código, os conjuntos de teste e os dados por linha estão no GitHub (shanyang-me/outcome-rl-buys), e os principais números do artigo podem ser recalculados a partir das linhas publicadas, sem GPU. Página do projeto: shanyang.me/what-outcome-rl-buys.