«Wait» en los modelos de razonamiento resultó ser herencia de los datos, no un descubrimiento del RL

La palabra «wait» en las cadenas de razonamiento se ha convertido en la seña de identidad de los modelos de razonamiento: el modelo la escribe, se detiene y vuelve al paso anterior. Se suele dar por hecho que es un invento del reinforcement learning, que habría descubierto por su cuenta la útil costumbre de dudar. Un nuevo trabajo de Hugging Face Daily Papers lo ha comprobado a partir de la historia de entrenamiento de modelos abiertos y llega a otra conclusión. En las bases donde la palabra no existe, el RL mejora de forma considerable la precisión en MATH-500, mientras que el «wait» sigue casi imperceptible. El marcador llega junto con los datos.

Cómo se buscó el origen de una sola palabra

Los autores no intentaron averiguar qué «quería decir» el modelo. Recorrieron las trayectorias de entrenamiento de modelos abiertos y calcularon índices sobre muestras de sus respuestas, sin etiquetado manual. Los índices son cuatro: la frecuencia de la palabra, su posición en el razonamiento, su forma (cómo se escribe y se presenta exactamente) y el tipo de uso. La quinta herramienta es una prueba con error inyectado: se coloca un paso incorrecto en el razonamiento y se observa si el modelo reacciona con un «wait». Así se ve si el marcador funciona como señal de alarma o si simplemente está en el texto de adorno.

El resultado con zero-RL puro es inequívoco: casi nunca genera el marcador. Si la base no tiene la palabra, el RL sube igualmente MATH-500, pero el «wait» no aparece. Por tanto, la relación entre la precisión y esta palabra es más débil de lo que se piensa.

De dónde sale realmente la palabra

El marcador aparece junto con los datos. En OLMo-3 lo aporta el mid-training. En la mayoría de los modelos cuya base no lo usa, la palabra la instala el ajuste fino sobre trazas de razonamiento.

Más interesantes son los casos en que la base ya sabe escribir «wait». Aquí las recetas divergen:

• las dos recetas publicadas de RL-Zero (OLMo-3 y MiMo) multiplican la frecuencia de la palabra;
• el KL-free GRPO, partiendo de la misma base, no lo hace;
• la receta de OLMo-3 borra la forma del marcador y lo vuelve una señal de alarma más sensible, pero también más «liberal»: salta con más frecuencia, incluso sin un error real;
• el RL aplicado después del supervised fine-tuning casi no cambia el marcador;
• la receta GRPO de los propios autores elimina el marcador sembrado por el ajuste fino.

El último punto es especialmente revelador. Una misma clase de algoritmos, según la configuración, puede reforzar la palabra, dejarla como está o limpiarla. El comportamiento lo determina la receta concreta, no el mero hecho de aplicar RL.

Trampas para quienes miden el razonamiento

La conclusión práctica principal afecta a las métricas. La frecuencia de «wait» no demuestra por sí sola que el razonamiento lo haya formado el RL. Un contador alto puede significar que la palabra se heredó de los datos, y uno bajo no significa que el modelo no sepa revisar sus decisiones. En las bases sin el marcador, el RL aportó mejoras sin que apareciera.

La segunda advertencia va dirigida a los aficionados a la evaluación automática. Los autores piden cautela con las métricas de revisiones calculadas mediante LLM-as-a-judge: los jueces automáticos pueden invertir las tendencias que encontraron los anotadores humanos. Si en tu pipeline la proporción de «autoverificaciones» la calcula otro modelo, las cifras pueden mostrar lo contrario de lo que ve una persona.

Qué cambiar en la práctica de entrenamiento

Para un equipo que construye su propio modelo de razonamiento, el trabajo deja varias lecciones.

• El aumento de la frecuencia de «wait» en los logs no puede tomarse como prueba de que el RL enseñó al modelo a razonar. Primero hay que determinar si el marcador estaba en la base, en el mid-training o en los datos de SFT.
• Las recetas deben compararse sobre una misma base. La diferencia entre el RL-Zero de OLMo-3 y MiMo y el KL-free GRPO muestra que el resultado depende de los detalles.
• La prueba con error inyectado es más barata y fiable que contar palabras. Comprueba si el modelo reacciona ante un error real, y no solo si escribe la palabra esperada.
• Los jueces automáticos que evalúan revisiones necesitan contrastarse con etiquetado humano en una muestra; de lo contrario, es fácil obtener una tendencia con el signo invertido.

Para la industria, esto desplaza la conversación sobre el origen de las capacidades de razonamiento. Parte del comportamiento que se atribuía al RL lo fijan los datos en etapas anteriores. Esto importa a quienes deciden dónde invertir cómputo: en la calidad de las trazas del mid-training y del SFT o en el propio ciclo de RL.