S2T-RLHF: por qué en RLHF la recompensa por frases es más estable que por tokens

En julio de 2026 apareció en arXiv un trabajo que describe S2T-RLHF, un método para entrenar modelos de lenguaje con preferencias humanas. Reparte la recompensa primero entre las frases de la respuesta y después entre los tokens individuales, con el fin de hacer mucho más estable un proceso de RLHF que de por sí es inestable.

Por qué RLHF es inestable

El RLHF estándar es inestable porque el modelo recibe una única recompensa escalar por toda la respuesta, y esa valoración se «difumina» después en las actualizaciones de la política a nivel de tokens individuales. Por eso no queda claro qué parte concreta de la respuesta mereció una puntuación alta o baja: el problema de la asignación de «mérito» (credit assignment) dentro de la respuesta sigue siendo ambiguo.

El modelo de preferencias, entrenado con comparaciones por pares de respuestas, evalúa la respuesta solo en su conjunto, no palabra por palabra. La señal de preferencia existe únicamente a nivel de respuesta completa (response level), de modo que trasladarla de forma mecánica a los tokens individuales introduce ruido adicional y desestabiliza el entrenamiento.

Qué propone S2T-RLHF

S2T-RLHF (sentence-to-token) introduce un nivel intermedio entre la respuesta completa y el token individual: la frase. El método reparte primero la recompensa de toda la respuesta entre las frases y, dentro de cada frase, aplica solo un ajuste acotado (bounded) por tokens. Un detalle importante: para ello no hace falta reentrenar el modelo de recompensa ni preparar un etiquetado aparte de recompensas a nivel de token.

• Tres niveles de granularidad: respuesta completa → frase → token
• La recompensa se divide primero por frases y después se refina por tokens de forma acotada
• No requiere reentrenar el modelo de recompensa
• No requiere token-level supervision, es decir, un etiquetado separado de recompensas por token
• Probado en varios conjuntos de datos y con distintas configuraciones de optimización

Según los autores, con este enfoque el entrenamiento se vuelve más estable y robusto, mientras que la calidad del alineamiento con las preferencias (preference alignment) sigue siendo competitiva; es decir, no hay que pagar la estabilidad con pérdida de precisión.

Por qué la frase y no el token

La frase se eligió como escala intermedia porque conserva la coherencia semántica y, al mismo tiempo, resiste mejor el ruido que un token individual. Los autores cuestionan abiertamente la suposición extendida de que cuanto más fino sea el reparto de la recompensa, mejor avanza la optimización.

«Cuando las señales de preferencia son ruidosas y solo existen a nivel

de respuesta, un refinamiento de la recompensa excesivamente granular puede amplificar la incertidumbre y desestabilizar el entrenamiento», se afirma en el artículo de arXiv.

En lugar de perseguir la recompensa más fragmentada posible, los autores formulan un principio granularity-aware: el diseño de la recompensa debe orientarse a la estabilidad, no a la máxima precisión del reparto. El nivel de la frase equilibra la coherencia semántica con la resistencia al ruido a nivel de token (token-level).

Qué significa esto

RLHF sigue siendo la principal vía para ajustar los grandes modelos de lenguaje a las preferencias humanas, pero su inestabilidad es un quebradero de cabeza constante para los ingenieros. S2T-RLHF propone una receta barata: en vez de buscar la recompensa más fragmentada posible, elegir una escala intermedia razonable, la frase. Si los resultados se reproducen en otras tareas y modelos, el «nivel de frase» podría consolidarse como la granularidad por defecto en el entrenamiento con preferencias.

Preguntas frecuentes

¿Qué es RLHF?

RLHF (reinforcement learning from human feedback) es el aprendizaje por refuerzo a partir de retroalimentación humana. El modelo se ajusta a las preferencias de las personas: un modelo de recompensa, entrenado con comparaciones de respuestas, emite la recompensa con la que se corrige la política de generación.

¿Necesita S2T-RLHF un etiquetado adicional?

No. Según la descripción del método, S2T-RLHF funciona sin reentrenar el modelo de recompensa y sin token-level supervision. Esto significa que no hacen falta ni nuevos datos de entrenamiento con recompensas por token ni un entrenamiento aparte del evaluador: el método reutiliza la señal de preferencias que ya existe.