Correção DLC mantém o KL em relação ao treino on-policy do Qwen3 dentro de dois limiares de ruído

No treinamento de modelos de linguagem com RL, um mecanismo de inferência, como o vLLM, gera as respostas, e um trainer separado calcula os gradientes. Formalmente, o treino é considerado on-policy: as respostas devem vir da política atual. Na prática, as probabilidades dos tokens diferem entre os dois sistemas, e os dados passam a ser off-policy.

Um novo trabalho no arXiv explica a origem desse descompasso e como ele evolui ao longo do treino. Os autores propõem a correção DLC (discrepancy-lag correction). Com o sampler desatualizado, ela mantém a divergência KL em relação ao treino on-policy dentro de dois limiares de ruído.

Aqui, o limiar de ruído é o KL entre dois treinos on-policy independentes. O resultado foi obtido no Qwen3-0.6B e no Qwen3-1.

7B.

Duas fontes de descompasso

A primeira fonte é a imprecisão numérica do mecanismo de inferência. Ele tem kernels e precisão de cálculo próprios, então, mesmo com os mesmos pesos, produz uma distribuição diferente da do trainer. Samplers quantizados ampliam essa diferença. A segunda fonte são os pesos desatualizados na geração assíncrona. O sampler mantém os pesos da última sincronização enquanto o trainer avança. É assim que funcionam, por exemplo, sistemas assíncronos como o AReaL.

Os autores executam o trainer com os pesos do sampler e obtêm uma decomposição exata do erro por token em dois termos: a divergência numérica e o atraso da política (policy lag). A divergência numérica fica aproximadamente constante, de modo que desloca as atualizações por um valor quase fixo. Centralizar o score em cada prefixo elimina a maior parte dela.

O atraso é mais complicado. Ele é gerado pelas próprias atualizações do trainer. O viés que sobra após a correção entra na atualização seguinte, que aumenta o atraso seguinte, formando um ciclo de retroalimentação.

O importance weighting só quebra esse ciclo enquanto a razão de probabilidades permanece concentrada. O limite é dado pelo tamanho efetivo da amostra (ESS) dessa razão: quando ele cai abaixo de 0,5, o método deixa de funcionar. No Qwen3-1.

7B, por causa da cauda pesada da razão, o ESS cruza o limite no passo 11, três passos antes da previsão gaussiana. É nesse passo que o importance sampling sai do nível de ruído. Além disso, a norma excedente da atualização no centering de score, em comparação com o importance sampling, contém um termo quadrático positivo no produto entre a taxa de aprendizado e o número de passos.

Como funciona a DLC

A correção segue essa decomposição e tem três partes:

• centraliza a divergência numérica;
• aplica clipping à razão de atraso em relação aos pesos do sampler;
• sincroniza o sampler novamente quando o ESS da razão de atraso cai abaixo de 0,5.

Com o sampler desatualizado, a DLC mantém o Qwen3-1.7B no nível de ruído até o passo 40. Nas três execuções da DLC, a sincronização foi acionada pela condição de ESS abaixo de 0,5. No importance sampling, o ESS permanece abaixo de 0,5 depois do passo 11. Nos dois modelos, o desvio em relação ao treino on-policy não passa de dois limiares de ruído. A sincronização forçada evita os colapsos que persistem nas correções feitas token a token. O KL convencional, medido nos prefixos do próprio sampler, não detecta esses colapsos.

Por que as correções anteriores se comportam de forma diferente

O trabalho explica a dispersão de resultados em estudos anteriores. O importance sampling truncado pondera cada token pela razão de probabilidades truncada. O centering de score subtrai o score médio do sampler no prefixo. O PPO aplica clipping à razão entre o trainer e a política de referência. O centering funciona de forma estável com sampler quantizado, mas perde para o importance sampling quando o sampler está desatualizado: nos experimentos anteriores, o sampler era sincronizado a cada 64 passos. O PPO sobrevive à defasagem, mas falha com quantização e com ruído sintético nos pesos. O colapso do GRPO assíncrono sob defasagem cresce junto com o produto entre a defasagem e a taxa de aprendizado.

Os autores também separam a camada de infraestrutura. Amostragem top-p, retokenização do texto, filtragem de respostas por recompensa e respostas longas adiadas também geram descompasso. Isso é eliminado na infraestrutura: o sampler informa a distribuição realmente usada, o trainer recebe os identificadores dos tokens, e os batches são formados independentemente do resultado. Com isso, só chegam ao algoritmo a versão dos pesos e a numérica do mecanismo de inferência. O atraso dos pesos é tratado por decoupled PPO, M2PO e VCPO, que escala a taxa de aprendizado pelo ESS. A divergência numérica é corrigida pelo importance sampling truncado e pelo centering de score.

A conclusão prática é que a escolha da correção depende de o erro crescer ou não junto com as atualizações. Não existe solução universal. No RL assíncrono, vale acompanhar o ESS da razão entre os pesos e tratá-lo como sinal para sincronizar. Os experimentos se limitam aos modelos Qwen3-0.6B e Qwen3-1.7B, portanto a extensão para modelos maiores precisa ser verificada separadamente.