Seq-Drifting génère du texte en un seul passage : perplexity de 36,01 sur LM1B

Les modèles de langage à diffusion génèrent les tokens en parallèle, mais un texte de qualité exige malgré tout de nombreuses étapes d'échantillonnage. Les auteurs de Seq-Drifting tentent de supprimer complètement ces étapes : leur générateur part d'un bruit gaussien et produit toute la séquence d'un seul passage avant. Sur le benchmark LM1B, ce mode à une seule étape donne une generative perplexity de 36,01. Le preprint est paru sur arXiv (2610.12879) et le code est publié sur GitHub.

Comment fonctionne le champ de dérive

Dans les LM à diffusion classiques, le signal d'entraînement de chaque position provient directement du token qui s'y trouve dans la séquence d'entraînement. Le modèle apprend à reconstruire une strate précise des données, et la qualité vient des itérations : chaque étape affine la précédente.

Seq-Drifting procède autrement. La méthode applique le drifting à des séquences de représentations continues de tokens et apprend directement une correspondance entre le bruit et le texte. Pour cela, elle construit un champ de dérive dans lequel les cibles positionnelles dépendent du contexte généré à l'instant donné, au lieu d'être fixées d'avance par un unique token de référence. Deux forces agissent sur chaque position. L'attraction oriente la sortie vers un ensemble de représentations de tokens plausibles dans leur contexte. La répulsion règle deux problèmes à la fois : elle empêche les échantillons de s'effondrer les uns sur les autres et elle supprime les répétitions au sein d'une même séquence.

Le champ n'est nécessaire que pendant l'entraînement. À l'inférence, le générateur n'itère pas du tout et produit tous les tokens conjointement en un seul passage.

Ce que montrent les expériences

Le résultat principal concerne LM1B, où la génération en une étape atteint une generative perplexity de 36,01. Selon les auteurs, le modèle est compétitif à la fois en génération inconditionnelle et conditionnelle. Ils ont aussi vérifié séparément si l'approche fonctionne au-delà de l'écriture libre : les expériences couvrent la traduction, le résumé et des tâches de raisonnement.

Paramètres clés du travail :

• Mode d'inférence : un seul passage avant, tous les tokens en parallèle.
• Entrée du générateur : bruit gaussien ; sortie : séquence de représentations continues de tokens.
• Signal d'entraînement : champ de dérive avec attraction vers les tokens plausibles et répulsion contre l'effondrement et les répétitions.
• Métrique : generative perplexity de 36,01 sur LM1B.
• Tâches : génération inconditionnelle et conditionnelle, traduction, résumé, raisonnement.

L'abstract laisse plusieurs points importants dans l'ombre. Il ne chiffre aucune comparaison avec des baselines de diffusion multi-étapes, ne fournit aucune mesure de latence et ne précise pas quel modèle a servi à calculer la perplexity. Or la generative perplexity est sensible au choix du modèle évaluateur et ne reflète pas, à elle seule, la diversité du texte. Ces détails devront être cherchés dans l'article complet.

À qui cela peut servir

L'intérêt pratique principal tient au coût d'inférence. Si la qualité d'un LM à diffusion dépend du nombre d'étapes, chaque étape multiplie le coût d'appel au modèle. Un générateur en une étape supprime en principe ce multiplicateur, ce qui constitue un argument sérieux pour des tâches comme la traduction ou le résumé, soumises à de fortes contraintes de latence.

Pour l'instant, il s'agit d'un résultat de recherche. LM1B se compose de phrases courtes, et la validation sur des contextes longs, de grands modèles et des tâches d'instruction reste à faire. Ceux qui travaillent sur les LM à diffusion ont intérêt à lancer le dépôt ouvert et à vérifier trois points : comment la qualité évolue avec la longueur de la séquence, si la diversité se maintient avec un seul passage, et dans quelle mesure le résultat dépend des paramètres de répulsion. Si les réponses sont favorables, Seq-Drifting deviendra un argument de poids dans le débat sur la nécessité même des itérations pour les modèles de langage.