«Wait» em modelos de reasoning é herança dos dados, não descoberta do RL

A palavra «wait» nas cadeias de raciocínio virou há tempos a marca registrada dos modelos de reasoning: o modelo a escreve, para e volta ao passo anterior. A explicação corrente é que se trata de uma invenção do reinforcement learning, que teria descoberto sozinho o hábito útil de duvidar. Um novo trabalho do Hugging Face Daily Papers testou essa hipótese na história de treinamento de modelos abertos e chegou a outra conclusão. Em modelos base que não têm a palavra, o RL aumenta de forma significativa a precisão no MATH-500, enquanto o «wait» continua quase imperceptível. O marcador chega junto com os dados.

Como se buscou a origem de uma única palavra

Os autores não tentaram descobrir o que o modelo «quis dizer». Eles percorreram as trajetórias de treinamento de modelos abertos e calcularam índices a partir de amostras das respostas, sem anotação manual. São quatro índices: a frequência da palavra, sua posição no raciocínio, sua forma (como exatamente ela é escrita e formatada) e o tipo de uso. A quinta ferramenta é um teste com erro injetado. Insere-se um passo incorreto no raciocínio e observa-se se o modelo reage a ele com o «wait». Assim fica claro se o marcador funciona como um alarme ou se está no texto só para constar.

O resultado para o zero-RL puro é inequívoco: ele quase nunca gera o marcador. Se a base não tem a palavra, o RL ainda assim eleva o MATH-500, mas o «wait» não aparece. Ou seja, a ligação entre precisão e essa palavra é mais fraca do que se costuma pensar.

De onde a palavra realmente vem

O marcador surge junto com os dados. No OLMo-3, quem o traz é o mid-training. Na maioria dos modelos cuja base não o usa, a palavra é instalada pelo fine-tuning em traços de raciocínio.

Mais interessantes são os casos em que a base já sabe escrever «wait». Aqui as receitas divergem:

• as duas receitas publicadas de RL-Zero (OLMo-3 e MiMo) multiplicam a frequência da palavra;
• o KL-free GRPO, partindo da mesma base, não faz isso;
• a receita do OLMo-3 apaga a forma do marcador e o torna mais sensível, porém também um alarme mais «liberal»: ele dispara com mais frequência, inclusive sem erro real;
• o RL aplicado depois do supervised fine-tuning quase não altera o marcador;
• a receita de GRPO dos próprios autores remove o marcador plantado pelo fine-tuning.

O último ponto é especialmente revelador. A mesma classe de algoritmos, dependendo das configurações, pode reforçar a palavra, deixá-la como está ou eliminá-la. O comportamento é determinado pela receita específica, e não pelo simples fato de aplicar RL.

Armadilhas para quem mede raciocínio

A principal conclusão prática diz respeito às métricas. A frequência de «wait», por si só, não mostra que foi o RL que formou o raciocínio. Uma contagem alta pode significar que a palavra foi herdada dos dados, e uma contagem baixa não significa que o modelo não sabe revisar decisões. Em bases sem o marcador, o RL trouxe ganho de qualquer forma, sem ele.

O segundo alerta é para os entusiastas da avaliação automática. Os autores pedem cautela com métricas de revisão calculadas por LLM-as-a-judge: juízes automáticos podem inverter tendências encontradas por anotadores humanos. Se no seu pipeline a proporção de «autoverificações» é calculada por outro modelo, os números podem mostrar o contrário do que um humano enxerga.

O que mudar na prática de treinamento

Para uma equipe que está construindo seu próprio modelo de reasoning, o trabalho traz algumas lições.

• O aumento da frequência de «wait» nos logs não deve ser aceito como prova de que o RL ensinou o modelo a raciocinar. Primeiro é preciso descobrir se o marcador já estava na base, no mid-training ou nos dados de SFT.
• As receitas devem ser comparadas sobre a mesma base. A diferença entre o RL-Zero no OLMo-3 e no MiMo e o KL-free GRPO mostra que o resultado depende dos detalhes.
• O teste com erro injetado é mais barato e mais confiável do que contar palavras. Ele verifica se o modelo reage a um erro real, e não apenas se escreve a palavra esperada.
• Juízes automáticos usados para avaliar revisões precisam ser conferidos contra anotação humana em uma amostra; do contrário, é fácil obter uma tendência com o sinal trocado.

Para a indústria, isso muda a conversa sobre a origem das capacidades de reasoning. Parte do comportamento que se atribuía ao RL é incorporada pelos dados em etapas anteriores. Isso importa para quem decide onde investir computação: na qualidade dos traços no mid-training e no SFT ou no próprio ciclo de RL.