Shan Yang desglosa la mejora del RL: el 82% es saber ajustarse al presupuesto de tokens

El aprendizaje por refuerzo basado en el resultado (outcome RL) eleva el pass@1 de los modelos de razonamiento, pero el pass@k no crece con valores grandes de k. Lo mostraron Yue y coautores en 2025. Shan Yang se planteó una pregunta que suele quedar fuera de este debate: todo pass@1 se calcula con un presupuesto limitado de tokens, y las recetas de RL también se entrenan bajo esa restricción.

Comparó 20 modelos RL publicados, de entre 1,5B y 32B de parámetros, con los modelos thinking de los que partieron, en tareas de física y matemáticas con presupuestos fijos. Su conclusión: en su mayor parte, el RL enseña al modelo a llegar hasta la respuesta y a hacerlo de forma más estable. Apenas abre tareas nuevas.

Los tres sumandos de una misma mejora

El autor divide cada cambio de pass@1 en tres partes:

• Finishing: el modelo llegó a responder antes de agotar el presupuesto de tokens.
• Reliability: la respuesta es correcta cuando el modelo llega hasta el final.
• Reach: las tareas que resuelve el modelo RL y que el modelo base fallA en los ocho intentos, menos las tareas que resuelve el modelo base y que el modelo RL falla en los ocho.

Esta descomposición responde a la pregunta de qué es exactamente la mejora: un cambio de comportamiento o un conocimiento nuevo.

Dónde ayuda el RL: a terminar la respuesta

Cuando el modelo base choca a menudo con el límite de tokens, casi todo el cambio, tanto el positivo como el negativo, recae en finishing: el 82% con presupuestos de 4k y 8k. Si se da más tokens al modelo base, este cierra por sí solo la mayor parte de esa brecha. Muchos modelos thinking razonan de forma extensa y simplemente no llegan a dar la respuesta final dentro de una ventana estricta. El RL les enseña a ajustarse al presupuesto con el que ese mismo RL los entrenó.

Si al modelo base le bastan los tokens, la mejora procede de reliability. El modelo RL obtiene una evaluación correcta con más frecuencia, incluso en tareas que ambos modelos terminan. Es decir, el RL mejora también el propio proceso de resolución, y no solo la longitud de la respuesta.

Reach: soluciones nuevas poco frecuentes y su verificación

Según la definición del autor, el RL rara vez resuelve lo que el modelo base no puede. En cualquiera de los cuatro conjuntos de física y matemáticas, reach añade como máximo 2,1 puntos porcentuales.

El autor también examinó casos concretos. Tomó 144 tareas de física que resolvió únicamente el modelo RL, las volvió a muestrear o leyó las soluciones. Solo el 3,5% superó la verificación. El resto de las «victorias» resultaron ser fruto del azar o razonamientos erróneos con la respuesta acertada por casualidad. En una segunda verificación, sobre una muestra aleatoria de nuevos pasos de razonamiento confirmados por una persona, nueve de cada diez también aparecen en las muestras del modelo base. El RL tiende a elegir lo que el modelo base ya sabía hacer, más que a inventar algo nuevo.

Un pequeño experimento de RL con 8B

En una ejecución reducida de RL sobre un modelo de 8B, la mejora en tareas nuevas volvió a ser finishing, y reliability no cambió. El autor probó además a incluir en cada tarea una descripción de su planteamiento físico. Este recurso no mostró mejoras frente al RL convencional.

Qué implica para los profesionales

Para quienes comparan modelos, la principal conclusión es metodológica. Una tabla de pass@1 con un único presupuesto pequeño mezcla la habilidad de resolver con la capacidad de ajustarse al límite. Hay que comprobar los resultados con varios presupuestos y ver cuánta mejora desaparece cuando se da más tokens al modelo base. De lo contrario, es fácil confundir la ventaja de un razonamiento más corto con un aumento de capacidades.

Para quienes entrenan modelos, el panorama es más terrenal. Si la receta de RL se ajusta a un límite estricto de tokens, lo que se compra en primer lugar es que las respuestas lleguen a completarse y solo después fiabilidad. Ampliar los límites de capacidad por esta vía no se ha logrado por ahora. Entonces tiene sentido comparar el RL con alternativas más baratas: aumentar el presupuesto en inferencia o recurrir a la destilación. Para obtener conocimiento nuevo hacen falta otras fuentes de señal, y conviene verificarlas con filtros tan estrictos como los de las 144 tareas del autor, de las que solo resistieron unas pocas.

Los resultados se pueden comprobar de forma independiente. El código, los conjuntos de prueba y los datos por filas están en GitHub (shanyang-me/outcome-rl-buys), y las cifras principales del artículo se recalculan a partir de las filas publicadas sin necesidad de GPU. Página del proyecto: shanyang.me/what-outcome-rl-buys.