SLPO: método leva RL com recompensa verificável para modelos de raciocínio latente

Em julho de 2026, pesquisadores publicaram no arXiv o preprint do SLPO (Surrogate Latent Policy Optimization), método que leva o aprendizado por reforço com recompensa final a modelos autorregressivos de raciocínio latente e os ensina a escolher por conta própria a duração do "pensamento".

O que é raciocínio latente

O raciocínio latente (latent reasoning) armazena os cálculos intermediários do modelo como vetores contínuos, em vez de decodificar cada etapa em um token de texto. Segundo o resumo no arXiv, essa abordagem já não perde para a cadeia de raciocínio explícita (Chain-of-Thought, CoT) e, em alguns casos, a supera, com horizontes de computação bem mais curtos.

A economia é direta: o raciocínio CoT clássico desenrola o pensamento token por token, e cada passo intermediário custa uma decodificação própria. O modelo latente percorre o mesmo caminho no espaço interno de representações, de forma mais rápida e com menos computação.

Por que o RL não funcionava com modelos latentes?

O RL com recompensa verificável (RLVR) não conseguia ser aplicado a modelos latentes por causa de duas barreiras técnicas. Os modelos de raciocínio com CoT explícito já foram além da imitação dos dados de treinamento graças a recompensas pelo resultado final, enquanto os modelos latentes continuavam "presos à imitação".

A causa, segundo os autores do preprint, está na natureza das trajetórias latentes:

• elas não têm uma probabilidade por etapa (per-step likelihood) calculável, e não há onde ancorar uma recompensa por etapa;
• não existe uma interface adaptativa de parada quando o orçamento de "pensamento" é fixo;
• por isso, a recompensa pelo resultado final não disparava o escalonamento de computação na inferência (test-time scaling).

O que o SLPO propõe

O SLPO supera as duas barreiras com dois componentes. O primeiro é uma densidade de política substituta empírica sobre as transições latentes: ela fornece uma distribuição de probabilidade que permite distribuir o "crédito" pelo sucesso no nível da trajetória inteira. O segundo é uma "cabeça de parada" (stopping head), treinada com um sinal de correção; a otimização pela recompensa final a transforma em uma política de horizonte variável, que decide sozinha quando encerrar o raciocínio.

Principais fatos do trabalho:

• O método é o SLPO (Surrogate Latent Policy Optimization), preprint no arXiv, julho de 2026.
• O objetivo é levar o RL com recompensa final (outcome-reward RL) a modelos autorregressivos de raciocínio latente.
• Componente 1: densidade de política substituta para atribuir a recompensa no nível da trajetória.
• Componente 2: stopping head treinada pela correção, o que resulta em raciocínio de duração variável.
• Resultado: melhora do Pass@k com amostragem paralela; mais computação é direcionada aos exemplos difíceis.

Segundo o resumo, nos regimes de pensamento contínuo e "suave", o SLPO melhora a métrica Pass@k com amostragem paralela e aloca computação latente mais longa às tarefas difíceis, elevando de quebra a acurácia determinística.

"O SLPO melhora o

Pass@k com amostragem paralela e aloca computação latente mais longa a exemplos difíceis, com maior acurácia determinística", diz o resumo do preprint no arXiv.

O que isso significa

O SLPO remove a principal limitação dos modelos de raciocínio latente: agora é possível refiná-los com recompensa pelo resultado final, como já se faz há tempos com a cadeia de raciocínio em texto. Se o resultado for confirmado em modelos maiores, abre-se o caminho para modelos de raciocínio que pensam com mais economia que o CoT convencional e dosam sozinhos a profundidade do raciocínio conforme a dificuldade da tarefa.

Perguntas frequentes

O que é raciocínio latente em termos simples?

É quando o modelo faz os cálculos intermediários no espaço vetorial interno, em vez de escrever cada passo em palavras. Segundo o resumo no arXiv, esse método já é comparável à cadeia de raciocínio explícita (CoT) e, ao mesmo tempo, exige horizontes de computação mais curtos.

Em que o SLPO difere do RL comum para CoT?

O RL comum com recompensa verificável se apoia na probabilidade por etapa dos tokens de texto. As trajetórias latentes não têm essa probabilidade, então o SLPO introduz uma densidade de política substituta e uma "cabeça de parada" treinável. Só assim a recompensa pelo resultado final passa a funcionar para modelos latentes.