Prefix-GRPO: метод обучения малых языковых моделей-агентов на префиксах траекторий

Los investigadores propusieron Prefix-GRPO, un método de aprendizaje por refuerzo que se publicó en arXiv (cs.LG) en julio de 2026. Ayuda a que los modelos de lenguaje pequeños que actúan como agentes aprendan de las trayectorias de un modelo maestro potente sin convertirlas en una imitación de un solo uso, y en tres entornos —TextCraft, BabyAI y ALFWorld— supera tanto a la destilación clásica como al RL estándar.

Por qué la destilación se atasca en tareas largas

La destilación directa reduce el rico comportamiento de varios pasos del maestro a objetivos de un solo paso para la imitación, lo cual es ineficaz allí donde las decisiones tempranas determinan los estados y las recompensas futuras. Los modelos pequeños resultan atractivos como base para agentes interactivos: son baratos y rápidos. Pero cuando un agente debe recorrer una larga cadena de acciones (recoger un objeto, llegar a una meta, ejecutar una instrucción), el entrenamiento de "repite la respuesta del maestro" pierde la estructura causal: el modelo memoriza las réplicas finales, pero no entiende cómo el maestro llegó al estado necesario.

Cómo funciona Prefix-GRPO

Prefix-GRPO divide cada trayectoria del maestro en dos componentes: replay-aligned prefix queries (prefijos para la reproducción) y online continuations (continuaciones en línea). Cada prefijo se reproduce de nuevo en el entorno para restaurar un estado intermedio válido, tras lo cual el alumno continúa la interacción por sí mismo y recibe la recompensa por la tarea.

La diferencia clave respecto al GRPO response-only es que el método aplica actualizaciones de política recortadas (clipped) también a los tokens históricos del asistente dentro del prefijo reproducido. Las antiguas log-probabilidades de esos tokens las estima un checkpoint SFT independiente, obtenido mediante destilación de política. Gracias a esto, el entrenamiento del prefijo y el entrenamiento de la continuación se unen en una única forma de optimización de política.

*Método: Prefix-GRPO, aprendizaje por refuerzo construido sobre GRPO

*Idea: la trayectoria del maestro = un prefijo para el replay + una continuación en línea

*Diferencia: actualizaciones clipped también para los tokens del asistente dentro del prefijo

*Estimación de las antiguas log-probabilidades — mediante un checkpoint SFT policy-distilled

*Entornos de prueba: TextCraft, BabyAI, ALFWorld (3 benchmarks)

Qué mostraron los experimentos

En los tres entornos, Prefix-GRPO mejoró a los agentes en modelos pequeños tanto frente a la destilación como frente a los baselines de RL estándar. Una serie aparte de experimentos de ablation comprobó qué es exactamente lo que aporta la mejora: el simple replay de los prefijos resultó insuficiente sin una optimización explícita de los tokens dentro de ellos.

El simple replay de los prefijos no es suficiente sin una optimización

explícita de los tokens dentro del prefijo.

— formulación tomada del resumen (abstract) del estudio en arXiv. Dicho de otro modo, restaurar el estado intermedio del entorno no basta por sí solo: también hace falta actualizar la política sobre los tokens históricos, de lo contrario el método no produce todo su efecto. La implementación y los scripts para reproducir los resultados, según los autores, se publicaron en acceso abierto en GitHub.

Qué significa esto

Prefix-GRPO es un intento de trasladar parte de la "inteligencia" de los grandes modelos maestros a modelos compactos sin perder la lógica de comportamiento de varios pasos. Si el enfoque escala más allá de los entornos de tipo juego, los agentes locales baratos podrán resolver tareas largas notablemente mejor que con la destilación habitual.

Preguntas frecuentes

¿Qué es Prefix-GRPO?

Es un framework de aprendizaje por refuerzo para modelos de lenguaje pequeños que actúan como agentes. Divide las trayectorias de un modelo maestro en prefijos, las reproduce en el entorno para restaurar el estado intermedio y sigue entrenando al alumno en interacción en línea con una recompensa por la tarea.

¿En qué se diferencia Prefix-GRPO del GRPO habitual?

A diferencia del GRPO response-only, que actualiza la política solo sobre las respuestas nuevas, Prefix-GRPO aplica actualizaciones recortadas también a los tokens históricos del asistente dentro del prefijo reproducido, estimando sus antiguas log-probabilidades mediante un checkpoint SFT policy-distilled independiente.

¿Dónde se probó el método?

Los autores probaron Prefix-GRPO en tres entornos para agentes —TextCraft, BabyAI y ALFWorld—, donde superó a la destilación y a los baselines de RL estándar. El código y los scripts de reproducción están disponibles en GitHub.