Flow matching : le velocity scaling fait passer le FID de 28,0 à 12,2 sur ImageNet-256

La mise à l'échelle du champ de vitesse appris en flow matching a récemment produit un net gain de qualité de génération. Un nouvel article publié sur arXiv (cs.CV) ne conteste pas l'effet lui-même, mais en change l'explication et propose de choisir le coefficient par la mesure, plutôt qu'à l'aveugle. Résultat : le FID sur ImageNet-256, avec 25 évaluations de la fonction (NFE 25) et sans guidance, passe de 28,0 à 12,2. Les auteurs estiment cette valeur par interpolation linéaire entre des mesures de FID obtenues pour des valeurs voisines de gain.

Ce que l'on a pris pour la cause

En flow matching, le modèle v_θ apprend à prédire la vitesse à laquelle un point se déplace du bruit vers les données. Le sampler intègre ce champ au cours du temps. L'astuce en question multiplie la vitesse prédite par un coefficient γ(t). Un travail antérieur expliquait le gain ainsi : l'entraînement à l'erreur quadratique moyenne (MSE) sous-estimerait systématiquement la norme de la vitesse, et la mise à l'échelle la ramènerait à la bonne valeur.

Les auteurs du nouvel article ne sont pas d'accord. Selon eux, l'entraînement par MSE ne crée pas de déficit de norme de la vitesse. Comme la mise à l'échelle fonctionne malgré tout, c'est qu'un autre mécanisme est à l'œuvre.

Le décalage temporel de la population

L'explication proposée s'appelle population time lag. Les états que le sampler obtient à l'instant modèle t ressemblent aux états d'entraînement d'un instant antérieur. L'échantillon accuse en quelque sorte un retard temporel par rapport à ce que le modèle a appris à ce t. Le champ de vitesse s'applique donc à des points plus « jeunes » que ceux que le modèle attend.

De là découlent deux corrections, que l'article présente comme équivalentes :

• multiplier la vitesse par le gain γ(t), pour que la trajectoire rattrape plus vite le stade voulu ;
• décaler le temps modèle vers l'arrière, afin de fournir au réseau le temps qui correspond à l'état réel du point.

Les deux procédés compensent le même décalage. C'est pourquoi la mise à l'échelle fonctionnait, même si son explication d'origine était différente.

Mesurer plutôt que tâtonner

La principale conclusion pratique : le décalage peut se mesurer. Les auteurs le mesurent et s'en servent pour choisir le gain. D'après leurs données, cela fonctionne sur différentes architectures et tailles de modèle.

Les chiffres clés de l'abstract :

• jeu de données et résolution : ImageNet-256 ;
• budget d'échantillonnage : NFE 25 ;
• guidance : non utilisée ;
• FID avant : 28,0 ;
• FID après : 12,2 (estimation par interpolation linéaire entre des valeurs voisines de gain) ;
• couverture : différentes architectures et tailles de modèle.

Il faut préciser que la valeur de 12,2 ne résulte pas d'une mesure directe en un point unique. C'est une interpolation entre deux valeurs de gain effectivement mesurées. Cela suffit pour juger de l'ampleur de l'effet, mais la reproductibilité exacte mérite d'être vérifiée sur ses propres checkpoints. L'abstract ne dit pas comment le résultat se comporte avec la guidance, avec des budgets NFE plus élevés ou sur d'autres jeux de données.

Que faire en pratique ?

Pour une équipe qui entraîne ou affine des modèles de flow matching pour l'image, plusieurs étapes en découlent. D'abord, vérifiez si votre sampler applique déjà un multiplicateur de vitesse ou un décalage du calendrier temporel. Ces procédés peuvent résoudre le même problème et faire double emploi.

Ensuite, mesurez le décalage sur votre checkpoint et faites-lui correspondre une valeur de gain, au lieu de balayer le coefficient sur une grille en suivant le FID. La grille coûte cher, car chaque point exige la génération complète d'un échantillon. La mesure du décalage permet potentiellement de réduire ce balayage.

Enfin, à faible NFE, là où les erreurs du sampler sont les plus visibles, comparez deux variantes : le scaling et le décalage du temps modèle. D'après l'article, elles sont équivalentes sur le fond, mais leur stabilité peut différer selon l'architecture et le calendrier de pas. Pour les chercheurs, ce travail pose aussi une question plus générale : quels autres « défauts » des samplers relèvent en réalité d'un désaccord temporel entre l'entraînement et l'inférence. Pour les détails et la vérification des conclusions sur d'autres jeux de données, il faut se reporter au texte complet de l'article.