SLPO: un método lleva el RL con recompensa verificable a los modelos de razonamiento latente

En julio de 2026, unos investigadores publicaron en arXiv el preprint de SLPO (Surrogate Latent Policy Optimization), un método que traslada el aprendizaje por refuerzo con recompensa final a los modelos de razonamiento latente autorregresivos y les enseña a elegir por sí mismos la longitud de su «pensamiento».

Qué es el razonamiento latente

El razonamiento latente (latent reasoning) almacena los cálculos intermedios del modelo como vectores continuos, en lugar de decodificar cada paso a un token de texto. Según el resumen de arXiv, este enfoque ya no se queda por detrás de la cadena de razonamiento explícita (Chain-of-Thought, CoT) y en ocasiones la supera, con horizontes de cómputo notablemente más cortos.

El ahorro es directo: el razonamiento CoT clásico despliega la idea token a token, y cada paso intermedio requiere su propia decodificación. El modelo latente recorre el mismo camino en el espacio interno de representaciones, con menos coste de cómputo y más rapidez.

¿Por qué el RL no funcionaba con los modelos latentes?

No se había logrado aplicar el RL convencional con recompensa verificable (RLVR) a los modelos latentes por dos barreras técnicas. Los razonadores CoT explícitos ya han ido más allá de la imitación de los datos de entrenamiento gracias a las recompensas por el resultado final, mientras que los modelos latentes seguían «atados a la imitación».

La causa, según los autores del preprint, está en la naturaleza de las trayectorias latentes:

• no tienen una probabilidad por paso (per-step likelihood) calculable, así que no hay a qué anclar una recompensa paso a paso;
• no existe una interfaz adaptativa de parada con un presupuesto de «pensamiento» fijo;
• por ello, la recompensa por el resultado final no activaba el escalado del cómputo en el momento de la inferencia (test-time scaling).

Qué propone SLPO

SLPO supera ambas barreras con dos componentes. El primero es una densidad de política sustituta empírica sobre las transiciones latentes: proporciona una distribución de probabilidad con la que se puede repartir el «crédito» por el éxito a nivel de toda la trayectoria. El segundo es una «cabeza de parada» (stopping head) entrenada con una señal de corrección; la optimización por recompensa final la convierte en una política de horizonte variable, que decide por sí sola cuándo detener el razonamiento.

Hechos clave del trabajo:

• Método: SLPO (Surrogate Latent Policy Optimization), preprint de arXiv, julio de 2026.
• Objetivo: trasladar el RL con recompensa final (outcome-reward RL) a los modelos de razonamiento latente autorregresivos.
• Componente 1: densidad de política sustituta para asignar la recompensa a nivel de trayectoria.
• Componente 2: stopping head entrenada con corrección → razonamiento de longitud variable.
• Resultado: mejora del Pass@k con muestreo paralelo; se dedica más cómputo a los ejemplos difíciles.

Según el resumen, en los modos de pensamiento continuo y «suave», SLPO mejora la métrica Pass@k con muestreo paralelo y asigna cómputo latente más largo a las tareas difíciles, además de elevar la precisión determinista.

«SLPO mejora el

Pass@k con muestreo paralelo y asigna cómputo latente más largo a los ejemplos difíciles, con mayor precisión determinista», del resumen del preprint en arXiv.

Qué significa

SLPO elimina la principal limitación de los modelos de razonamiento latente: ahora es posible ajustarlos con una recompensa por el resultado final, como se hace desde hace tiempo con la cadena de razonamiento en texto. Si el resultado se confirma en modelos grandes, abrirá el camino a modelos de razonamiento que piensan con menos coste que el CoT convencional y dosifican por sí mismos la profundidad del razonamiento según la complejidad de la tarea.

Preguntas frecuentes

¿Qué es el razonamiento latente, explicado con sencillez?

Es cuando el modelo realiza los cálculos intermedios en su espacio vectorial interno, en lugar de escribir cada paso con palabras. Según el resumen de arXiv, este método ya es comparable a la cadena de razonamiento explícita (CoT) y, además, requiere horizontes de cómputo más cortos.

¿En qué se diferencia SLPO del RL habitual para CoT?

El RL convencional con recompensa verificable se apoya en la probabilidad por paso de los tokens de texto. Las trayectorias latentes carecen de esa probabilidad, así que SLPO introduce una densidad de política sustituta y una «cabeza de parada» entrenable; solo así la recompensa por el resultado final empieza a funcionar con los modelos latentes.