La correction DLC maintient la KL vers l'on-policy de Qwen3 sous deux seuils de bruit

En apprentissage par renforcement (RL) des modèles de langage, un moteur d'inférence, par exemple vLLM, génère les réponses, tandis qu'un trainer distinct calcule les gradients. Sur le papier, l'entraînement est on-policy : les réponses doivent provenir de la politique courante. En pratique, les probabilités de tokens diffèrent entre les deux systèmes, et les données deviennent off-policy.

Un nouveau travail publié sur arXiv explique l'origine de ce décalage et son évolution au fil de l'entraînement. Les auteurs proposent la correction DLC (discrepancy-lag correction). Avec un sampler périmé, elle maintient la divergence KL par rapport à l'entraînement on-policy sous deux seuils de bruit.

Le seuil de bruit désigne ici la KL entre deux entraînements on-policy indépendants. Le résultat a été obtenu sur Qwen3-0.6B et Qwen3-1.

7B.

Deux sources de décalage

La première source est l'imprécision numérique du moteur. Il utilise ses propres kernels et sa propre précision de calcul : même avec les mêmes poids, il produit une distribution différente de celle du trainer. Les samplers quantifiés creusent encore cet écart. La seconde source tient aux poids périmés en génération asynchrone. Le sampler conserve les poids de la dernière synchronisation pendant que le trainer continue d'avancer. C'est le fonctionnement des systèmes asynchrones comme AReaL, par exemple.

Les auteurs font tourner le trainer avec les poids du sampler et obtiennent une décomposition exacte de l'erreur par token en deux termes : l'écart numérique et le retard de politique (policy lag). L'écart numérique reste à peu près constant ; il biaise donc les mises à jour d'une valeur quasi fixe. Le centrage du score sur chaque préfixe en supprime l'essentiel.

Le retard est plus délicat. Ce sont les propres mises à jour du trainer qui l'engendrent. Le biais résiduel après correction se retrouve dans la mise à jour suivante, qui accroît le retard suivant : une boucle de rétroaction se forme.

La pondération par importance ne brise la boucle que tant que le ratio de probabilités reste concentré. La limite est fixée par la taille d'échantillon effective (ESS) de ce ratio : lorsqu'elle tombe sous 0,5, la méthode cesse de fonctionner. Sur Qwen3-1.

7B, à cause de la queue lourde du ratio, l'ESS franchit le seuil à l'étape 11, soit trois étapes avant la prévision gaussienne. C'est précisément à cette étape que l'importance sampling quitte le niveau de bruit. Par ailleurs, l'excès de norme de la mise à jour du centrage du score par rapport à l'importance sampling contient un terme quadratique positif en le produit du taux d'apprentissage et du nombre d'étapes.

Comment fonctionne DLC

La correction reprend cette décomposition et comprend trois volets :

• elle centre l'écart numérique ;
• elle écrête (clippe) le ratio de retard par rapport aux poids du sampler ;
• elle resynchronise le sampler lorsque l'ESS du ratio de retard passe sous 0,5.

Avec un sampler périmé, DLC maintient Qwen3-1.7B au niveau de bruit jusqu'à l'étape 40. Dans trois exécutions de DLC, la synchronisation s'est déclenchée sur la condition ESS inférieure à 0,5. Avec l'importance sampling, l'ESS reste sous 0,5 après l'étape 11. Sur les deux modèles, l'écart par rapport à l'entraînement on-policy ne dépasse pas deux seuils de bruit. La synchronisation forcée évite les effondrements qui persistent avec les corrections token par token. La KL ordinaire, mesurée sur les préfixes du sampler lui-même, ne détecte pas ces effondrements.

Pourquoi les corrections antérieures se comportent différemment

Le travail explique la dispersion des résultats dans les études précédentes. L'importance sampling tronqué pondère chaque token par un ratio de probabilités tronqué. Le centrage du score soustrait le score moyen du sampler sur le préfixe.

PPO écrête le ratio entre le trainer et la politique de référence. Le centrage fonctionne de façon stable avec un sampler quantifié, mais il est moins performant que l'importance sampling avec un sampler périmé : dans les expériences antérieures, le sampler était synchronisé toutes les 64 étapes. PPO résiste à la péremption, mais échoue avec la quantification et avec un bruit synthétique sur les poids.

L'effondrement de GRPO asynchrone en cas de péremption croît avec le produit de la péremption et du taux d'apprentissage.

Les auteurs distinguent aussi une couche d'infrastructure. L'échantillonnage top-p, la retokenisation du texte, le filtrage des réponses selon la récompense et les longues réponses différées créent eux aussi du décalage. On les élimine au niveau de l'infrastructure : le sampler communique la distribution réellement utilisée, le trainer reçoit les identifiants de tokens, et les batchs sont constitués indépendamment du résultat. Il ne reste alors, côté algorithme, que la version des poids et les particularités numériques du moteur. Le retard des poids se traite avec decoupled PPO, M2PO et VCPO, qui met à l'échelle le taux d'apprentissage selon l'ESS. L'écart numérique se corrige avec l'importance sampling tronqué et le centrage du score.

Enseignement pratique : le choix de la correction dépend de la croissance de l'erreur avec les mises à jour. Il n'existe pas de remède universel. En RL asynchrone, il est utile de surveiller l'ESS du ratio des poids et de le traiter comme un signal de synchronisation. Les expériences se limitent aux modèles Qwen3-0.6B et Qwen3-1.7B ; le passage à des modèles plus grands doit donc être vérifié séparément.