Alibaba Qwen presenta TRACE: el Rollout en FP4 se acelera hasta 5,4 veces

El equipo de Alibaba Qwen ha presentado TRACE, un método de entrenamiento de grandes modelos con aprendizaje por refuerzo que traslada la fase de Rollout a FP4: tanto los pesos como las activaciones (W/A) y el KV-cache. Según los autores, el Rollout se acelera hasta 5,4 veces respecto a BF16 y el entrenamiento se mantiene estable. Lo segundo importa aquí más que la velocidad: muchos saben ejecutar la generación en cuatro bits, pero evitar que el RL se desmorone en ese régimen no les sale a todos, ni de lejos.

Por qué el

Rollout se ha convertido en la parte más voraz del RL

En el RL para modelos de lenguaje, el ciclo funciona así: el modelo genera muchas respuestas, a menudo largas cadenas de razonamiento; se evalúan, y con esas trayectorias se actualizan los pesos. La generación avanza token a token, está limitada por el ancho de banda de la memoria y el KV-cache crece con la longitud de la respuesta. Cuanto más largo es el reasoning y más muestras se piden por prompt, más tiempo y más memoria de vídeo consume el Rollout, y no el paso de descenso de gradiente.

De ahí el deseo lógico de comprimir esta etapa. Pasar de BF16 a FP4 reduce, en teoría, tanto el volumen de cálculo como el consumo de memoria. Menos bytes por peso y por elemento de la caché significan más solicitudes en paralelo por tarjeta y menos espera de datos.

Dónde FP4 rompe el entrenamiento

El precio de esta compresión es la tosquedad de la malla numérica. En cuatro bits caben solo 16 valores, así que dos magnitudes muy próximas pueden quedar fácilmente a ambos lados de un límite de cuantización y caer en puntos de código distintos. Si el entrenador y el motor de Rollout calculan con precisiones diferentes, obtienen resultados notablemente distintos a partir de entradas casi idénticas. Una diferencia minúscula a nivel numérico se convierte en una divergencia entre lo que el modelo «generó» y lo que «piensa» en el momento de actualizar los pesos.

Para el RL esto es peligroso. El algoritmo asume que las trayectorias las produce una política cercana a la que se está entrenando. Cuando el generador y el entrenador divergen, el gradiente empieza a apoyarse en datos que el modelo actual habría producido de otra manera. Suele manifestarse como ruido, deriva e inestabilidad del entrenamiento. Con FP4 el problema es más agudo que con FP8, porque hay más efectos de borde y menos margen de precisión. Es justamente este problema el que TRACE intenta resolver.

Qué se sabe de TRACE

Parámetros clave del trabajo:

• Desarrollador: el equipo de Qwen (Alibaba).
• Ámbito de aplicación: la etapa de Rollout en el entrenamiento de grandes modelos con RL.
• Formato: FP4 para pesos y activaciones (W/A) más FP4 para el KV-cache.
• Línea base: BF16.
• Efecto declarado: aceleración del Rollout de hasta 5,4 veces.
• Objetivo: mantener la estabilidad del entrenamiento con una precisión baja en la generación.

La fórmula «hasta 5,4 veces» indica un máximo, no un resultado medio. La ganancia real depende de la longitud de la generación, el tamaño del batch, la arquitectura del modelo y el hardware. Cuanto más largo es el contexto y más pesado el KV-cache, más se nota el efecto de cuantizarlo, porque a menudo es precisamente la caché la que se convierte en el cuello de botella en razonamientos largos.

Qué deben comprobar los equipos que ejecutan RL en sus propios clústeres

Para quienes entrenan modelos de reasoning por su cuenta, la conclusión principal es que conviene tratar el Rollout como un problema de optimización independiente y no como un proceso secundario. Si la generación ocupa la mayor parte del tiempo de cada paso, comprimir la precisión rinde más que ajustar el optimizador.

Antes de pasar a FP4 hay que medir la divergencia entre las probabilidades de los tokens del entrenador y las del motor de Rollout. Si ya es apreciable en BF16 o FP8, en cuatro bits aumentará. Aparte, conviene comprobar la calidad en trayectorias largas: el error del KV-cache se acumula con la longitud de la respuesta.

Por último, la ganancia depende del soporte de hardware. El FP4 nativo está presente en las nuevas generaciones de aceleradores, por ejemplo en la arquitectura Blackwell, mientras que en tarjetas más antiguas la vía de 4 bits no dará una aceleración comparable. Para laboratorios con un parque de GPU limitado, trabajos como TRACE resultan interesantes porque permiten hacer más iteraciones de RL con el mismo hardware. La siguiente pregunta es hasta qué punto el resultado se reproduce con modelos de otro tamaño y en otras tareas, de las matemáticas al código.