Consistent Distribution Matching ramène la diffusion à 1 étape avec un FID de 2,04

Les modèles de diffusion et les modèles flow génèrent des images de qualité, mais le paient en nombre d'étapes d'intégration numérique. Un groupe d'auteurs propose Consistent Distribution Matching (CDM), une méthode de distillation qui accélère ces modèles sans dataset, sans passes de l'enseignant et sans réseaux auxiliaires. Sur ImageNet 256×256, l'élève atteint un FID de 2,04 avec une seule évaluation de la fonction (1-NFE) et de 1,37 avec quatre (4-NFE). L'entraînement dure 40 époques. D'après l'article, ce résultat surpasse les meilleures méthodes de référence de distillation fonctionnant sans données. Le code et le modèle sont publiés sur consistentdmd.github.io.

Ce qui cloche dans la distillation actuelle

Le principe de la distillation est simple : l'élève apprend à reproduire la dynamique de l'enseignant, afin d'obtenir en une ou deux étapes ce que l'enseignant produit en plusieurs dizaines. En pratique, les approches existantes traînent un cortège de dépendances. Certaines exigent un dataset spécialement constitué pour la distillation. D'autres nécessitent des passes coûteuses de l'enseignant, c'est-à-dire une simulation complète des trajectoires pour obtenir des paires d'entraînement. D'autres encore requièrent des réseaux proxy auxiliaires, qu'il faut entraîner en parallèle du modèle principal.

Chacune de ces dépendances complique le passage à l'échelle. Le dataset doit être stocké et nettoyé, les passes de l'enseignant consomment du calcul, et un réseau supplémentaire ajoute des hyperparamètres et un risque d'instabilité à l'entraînement. Les auteurs de CDM visent précisément cette couche de coûts d'ingénierie.

Comment fonctionne CDM

L'idée centrale : un seul réseau élève remplit deux fonctions à la fois, générer des échantillons et estimer le score (le gradient du logarithme de la densité). Dans les schémas avec un réseau proxy distinct, ces fonctions sont généralement séparées. Ici, elles sont fusionnées, si bien que seuls deux modèles participent à l'entraînement : l'enseignant gelé et l'élève entraînable. Un seul objectif est optimisé.

Dans l'article, l'élève est décrit comme une flow-map, c'est-à-dire une application qui transforme du bruit en échantillon. Les auteurs démontrent que la minimisation de leur objectif implique une convergence au sens de Wasserstein : les distributions obtenues par poussée en avant (pushforward) à travers la flow-map de l'élève se rapprochent des distributions marginales de l'enseignant. C'est une garantie théorique que l'élève s'ajuste à la distribution de l'enseignant, et pas seulement à quelques points favorables sur une métrique.

La méthode est qualifiée de data-free et de simulation-free. L'entraînement n'exige ni images réelles, ni exécution de l'enseignant sur toute la trajectoire.

Principales métriques

• Benchmark : ImageNet 256×256.
• 1-NFE : FID de 2,04.
• 4-NFE : FID de 1,37.
• Budget d'entraînement : 40 époques.
• Composants : un enseignant gelé et un élève entraînable, une seule fonction de perte.
• Données de distillation : non utilisées.
• Théorie : convergence au sens de Wasserstein démontrée pour le pushforward de la flow-map.
• Publication : code et modèle en accès libre.

Ce qu'il faut vérifier en pratique

Tous les chiffres de l'article concernent la génération conditionnée par classe sur ImageNet 256×256. C'est un terrain d'essai standard, mais assez étroit. Rien ne justifie d'extrapoler ces résultats à des modèles text-to-image de plusieurs milliards de paramètres, avec des prompts longs et une haute résolution. La confirmation du passage à l'échelle sera la question principale posée à CDM. Quant à l'affirmation des auteurs sur la comparaison avec les meilleures méthodes sans données, mieux vaut la vérifier dans les tableaux de l'article et par une reproduction à partir du code ouvert.

Pour ceux qui construisent une inférence de production avec génération d'images ou de vidéo, la méthode présente trois intérêts. Premièrement, il n'y a pas de dataset à préparer pour la distillation, ce qui règle un problème à part pour les enseignants fermés ou compliqués sur le plan des licences. Deuxièmement, un pipeline à deux modèles et une seule fonction de perte est plus simple à maintenir et moins coûteux à déboguer. Troisièmement, une étape avec un FID de 2,04 et quatre étapes avec un FID de 1,37 laissent entrevoir un compromis pratique : on peut choisir entre vitesse maximale et qualité sans réentraîner depuis zéro.

Pour une équipe, le premier réflexe logique consiste à prendre le code publié, à refaire la distillation sur un petit modèle flow maison et à mesurer le FID à 1 et à 4 étapes. Il faut comparer d'emblée le coût en heures-GPU avec la recette actuelle, car l'économie réalisée sur les données et sur les passes de l'enseignant compte autant que la métrique elle-même.