La corrección DLC mantuvo el KL respecto al entrenamiento on-policy de Qwen3 dentro de dos umbrales de ruido

En el entrenamiento RL de modelos de lenguaje, un motor de inferencia, por ejemplo vLLM, genera las respuestas, y un entrenador independiente calcula los gradientes. Formalmente, el entrenamiento se considera on-policy: las respuestas deben proceder de la política actual. En la práctica, las probabilidades de los tokens difieren entre ambos sistemas y los datos pasan a ser off-policy.

Un nuevo trabajo en arXiv explica de dónde surge este desajuste y cómo evoluciona a lo largo del entrenamiento. Los autores proponen la corrección DLC (discrepancy-lag correction). Con un muestreador desactualizado, mantiene la divergencia KL respecto al entrenamiento on-policy dentro de dos umbrales de ruido.

Aquí, el umbral de ruido es el KL entre dos entrenamientos on-policy independientes. El resultado se obtuvo en Qwen3-0.6B y Qwen3-1.

7B.

Dos fuentes de desajuste

La primera fuente es la imprecisión numérica del motor. Tiene sus propios kernels y su propia precisión de cálculo, por lo que, incluso con los mismos pesos, produce una distribución distinta de la del entrenador. Los muestreadores cuantizados amplían esta brecha. La segunda fuente son los pesos desactualizados en la generación asíncrona. El muestreador conserva los pesos de la última sincronización mientras el entrenador sigue avanzando. Así funcionan, por ejemplo, los sistemas asíncronos como AReaL.

Los autores ejecutan el entrenador con los pesos del muestreador y obtienen una descomposición exacta del error por token en dos sumandos: la divergencia numérica y el retraso de la política (policy lag). La divergencia numérica permanece aproximadamente constante, de modo que sesga las actualizaciones en una magnitud casi fija. Centrar el score en cada prefijo elimina su parte principal.

El retraso es más complicado. Lo generan las propias actualizaciones del entrenador. El sesgo que queda tras la corrección pasa a la siguiente actualización, esta aumenta el siguiente retraso y se forma un bucle de retroalimentación.

El importance weighting rompe el bucle solo mientras la razón de probabilidades se mantiene concentrada. El límite lo fija el tamaño efectivo de muestra (ESS) de esa razón: cuando cae por debajo de 0,5, el método deja de funcionar. En Qwen3-1.

7B, por la cola pesada de la razón, el ESS cruza el umbral en el paso 11, tres pasos antes de lo que predice la aproximación gaussiana. Justo en ese paso el importance sampling se aleja del nivel de ruido. Además, el exceso de norma de actualización del centrado del score frente al importance sampling contiene un término cuadrático positivo en el producto de la tasa de aprendizaje y el número de pasos.

Cómo funciona DLC

La corrección replica esta descomposición y consta de tres partes:

• centra la divergencia numérica;
• recorta (clipping) la razón de retraso respecto a los pesos del muestreador;
• vuelve a sincronizar el muestreador cuando el ESS de la razón de retraso cae por debajo de 0,5.

Con un muestreador desactualizado, DLC mantiene Qwen3-1.7B en el nivel de ruido hasta el paso 40. En tres ejecuciones de DLC, la sincronización se activó por la condición de ESS por debajo de 0,5. En el importance sampling, el ESS permanece por debajo de 0,5 después del paso 11. En ambos modelos, la desviación respecto al entrenamiento on-policy no supera dos umbrales de ruido. La sincronización forzada evita los colapsos que persisten con las correcciones token a token. El KL habitual, medido sobre los prefijos del propio muestreador, no detecta esos colapsos.

Por qué las correcciones anteriores se comportan de forma distinta

El trabajo explica la dispersión de resultados en estudios previos. El importance sampling truncado pondera cada token con la razón de probabilidades truncada. El centrado del score resta el score medio del muestreador en el prefijo. PPO recorta la razón entre el entrenador y la política de referencia. El centrado funciona de forma estable con un muestreador cuantizado, pero pierde frente al importance sampling cuando el muestreador está desactualizado: en experimentos anteriores, el muestreador se sincronizaba cada 64 pasos. PPO soporta la obsolescencia, pero falla con la cuantización y con ruido sintético en los pesos. El colapso del GRPO asíncrono con obsolescencia crece junto con el producto de la obsolescencia y la tasa de aprendizaje.

Los autores también separan la capa de infraestructura. El muestreo top-p, la retokenización del texto, el filtrado de respuestas por recompensa y las respuestas largas diferidas también generan desajuste. Se eliminan a nivel de infraestructura: el muestreador informa de la distribución realmente utilizada, al entrenador se le pasan los identificadores de los tokens y los batches se forman con independencia del resultado. Después de esto, al algoritmo solo llegan la versión de los pesos y la numérica del motor. El retraso de los pesos se trata con decoupled PPO, M2PO y VCPO, que escala la tasa de aprendizaje según el ESS. La divergencia numérica se corrige con importance sampling truncado y centrado del score.

Conclusión práctica: la elección de la corrección depende de si el error crece con las actualizaciones. No existe un remedio universal. En el RL asíncrono conviene vigilar el ESS de la razón de pesos y tratarlo como señal para sincronizar. Los experimentos se limitan a los modelos Qwen3-0.6B y Qwen3-1.7B, por lo que la extrapolación a modelos mayores debe comprobarse por separado.