DiffusionART accélère par 12 le fine-tuning RL des modèles vidéo, sans réglage fin de l'EMA

Une équipe de chercheurs a publié sur arXiv DiffusionART, une méthode d'apprentissage par renforcement en ligne pour les modèles de diffusion. Elle vise deux défauts connus : la lenteur de Flow-GRPO et la sensibilité de DiffusionNFT aux réglages. Dans l'expérience principale sur HunyuanVideo-13B, où la qualité visuelle et la qualité du mouvement entrent dans la récompense avec des poids égaux, DiffusionART atteint le niveau de récompense moyenne final de DiffusionNFT 12,02 fois plus vite en heures GPU, et celui de Flow-GRPO-Fast 11,72 fois plus vite. La récompense moyenne à l'entraînement est en outre supérieure de 28,8% et de 53,0% respectivement. Il s'agit d'un preprint : aucune réplication indépendante n'existe pour l'instant.

Où les approches précédentes échouaient

L'RL en ligne sert à ajuster un modèle sur des récompenses non dérivables : score d'esthétique, qualité du mouvement, préférences humaines. Les méthodes du processus inverse, comme Flow-GRPO, travaillent sur la trajectoire de débruitage. La récompense n'arrive qu'une fois pour l'ensemble de l'échantillon, alors que les étapes sont nombreuses. On ne sait pas laquelle a contribué à quoi : le credit assignment est donc mauvais et l'entraînement coûteux.

Les méthodes du processus direct, comme DiffusionNFT, sont plus efficaces, mais reposent sur une moyenne mobile exponentielle (EMA) soigneusement réglée pour l'entraînement off-policy. Sans elle, l'entraînement devient instable. Les auteurs de DiffusionART en expliquent la cause. Selon leur analyse, les objectifs de type NFT contiennent une force de cohérence cachée entre les processus direct et inverse. L'entraînement conjoint sur des exemples positifs et négatifs ne l'atténue que partiellement. Quant à l'EMA, elle ne stabilise pas l'entraînement grâce aux rollouts off-policy, comme on le croit généralement, mais par une « restauration » : elle ramène les paramètres en arrière lorsque le modèle dérive.

Comment fonctionne DiffusionART

Le nom signifie Diffusion Reinforcement with Aggregation-First Reward Tilting. La méthode commence par agréger les récompenses de tous les échantillons d'un même prompt en une direction d'amélioration commune pour les états du processus inverse. La force de cohérence cachée est ainsi éliminée par construction, et non simplement atténuée. La seconde étape est une mise à jour supplémentaire avec un masque de région de confiance (trust region). Elle ramène le modèle en arrière à mesure qu'il dérive : elle joue donc le rôle de l'EMA, sans qu'il faille en régler les paramètres.

Principaux paramètres de l'étude :

• Test principal : HunyuanVideo-13B, récompenses de qualité visuelle et de mouvement avec des poids égaux.
• Gain en heures GPU pour atteindre le niveau de récompense final : 12,02× face à DiffusionNFT, 11,72× face à Flow-GRPO-Fast.
• Récompense moyenne à l'entraînement : supérieure de 28,8% à celle de DiffusionNFT et de 53,0% à celle de Flow-GRPO-Fast.
• Aucun modèle de récompense différentiable n'est requis.
• La méthode reste efficace avec moins d'échantillons par prompt.
• La variante DiffusionART-Pairwise fonctionne avec des modèles de récompense par paires.
• Les auteurs affirment que la méthode s'applique à la génération d'images et de vidéos sans réglage spécifique à chaque tâche.

Que faire de cela en pratique

Pour les équipes qui affinent des modèles vidéo et image à partir de signaux de récompense, le principal intérêt est le coût. L'entraînement d'un modèle vidéo de 13 milliards de paramètres se compte en milliers d'heures GPU, et une réduction d'un ordre de grandeur change le budget des expériences. Renoncer au réglage de l'EMA supprime une couche supplémentaire de recherche d'hyperparamètres, et la possibilité de travailler avec moins d'échantillons par prompt réduit le coût de chaque étape.

La variante Pairwise sera utile là où il n'existe pas de score scalaire, mais seulement des comparaisons « meilleur/moins bon », par exemple dans des données issues d'annotateurs.

La prudence reste de mise. Les chiffres de l'abstract décrivent la récompense moyenne à l'entraînement et la vitesse pour atteindre un niveau donné. Ils ne disent rien de ce que voit un humain sur des prompts de validation (held-out), et n'excluent pas le reward hacking, lorsque le modèle s'ajuste à la métrique plutôt qu'à la qualité. Avant d'intégrer la méthode à son pipeline, mieux vaut attendre le code, des reproductions indépendantes et des évaluations humaines sur des jeux de validation.