Bruit adaptatif dans un échantillonneur SDE sur Flux 3 Klein : un gain de 1 à 2 % seulement sur la texture

Les générateurs d'images basés sur le flow matching peuvent fonctionner avec un échantillonneur stochastique : à chaque pas, celui-ci injecte du bruit frais. L'intensité de ce bruit, le paramètre eta, est généralement réglée à la main une seule fois, puis laissée constante. Un auteur de Habr a voulu vérifier si l'échantillonneur pouvait choisir eta seul, pas après pas, à partir des données dont il dispose déjà. Le résultat est globalement négatif : le schéma adaptatif n'a presque rien apporté, et le meilleur effet sur Flux 3 Klein représente environ 1–2 % de la valeur de la métrique de texture.

L'idée : piloter le bruit avec des signaux gratuits

À chaque pas, un solveur multipas calcule déjà deux grandeurs utiles. La première est la courbure de la trajectoire, c'est-à-dire la brutalité avec laquelle elle s'infléchit. La seconde est l'écart entre la prédiction et la correction, qui sert d'estimation de l'erreur locale. Aucune des deux ne nécessite d'appel supplémentaire au réseau : en termes de calcul, le schéma ne coûte rien, sans passe additionnelle dans le modèle ni hausse du temps de génération.

L'hypothèse était logique. Si le bruit nuit là où le champ est « raide » et aide là où il est lisse, un budget de bruit fixe réparti selon la courbure devrait battre une valeur constante. Pour le vérifier, l'auteur a écrit un nœud pour ComfyUI et l'a testé sur trois modèles ouverts : Anima, Flux 3 Klein et MOSS-Image. Le nombre de pas variait de 6 à 15.

La principale décision méthodologique concerne la base de comparaison, qui se veut honnête. Chaque exécution adaptative a été comparée à une exécution avec une eta constante et exactement le même budget total de bruit. Sans cela, comme l'a montré un précédent travail de l'auteur, un résultat « adaptatif » traduit le plus souvent un simple « moins de bruit », et non une meilleure répartition.

Ce qui a fonctionné, et ce qui n'a pas fonctionné

La courbure n'a pas fonctionné. Sur aucun des modèles on n'observe de gain stable, et le signe de l'effet change selon le nombre de pas. En pratique, cela signifie qu'il ne faut pas s'appuyer sur la courbure pour choisir eta.

L'estimation de l'erreur du solveur a fourni un signal faible, mais reproductible. Lorsqu'on ajoute davantage de bruit là où l'erreur est faible, le gain sur Flux 3 Klein atteint environ 1–2 % de la valeur de la métrique de texture. Il a été confirmé sur de nouveaux seeds, selon des critères fixés avant le lancement. Sur MOSS-Image, l'effet est unilatéral ; sur Anima, l'auteur ne l'a pas détecté. Sur Krea 2, le résultat n'est pas probant, faute de puissance statistique suffisante.

La conclusion la plus intéressante porte sur l'adaptation elle-même. Un calendrier de bruit fixe, moyenné sur des exécutions indépendantes et appliqué à toutes les images, donne le même résultat que le choix pas à pas. Le bruit aux bords de la fenêtre de bruit aide, tandis qu'au milieu il compte moins. Autrement dit, ce qui importe, c'est la position du bruit le long de la trajectoire, et non ce que voit l'échantillonneur à un instant donné. La logique adaptative est alors superflue : un calendrier calculé à l'avance suffit, qui ne coûte rien à l'exécution et se débogue plus facilement.

Les humains n'ont pas vu de différence

L'auteur a mené un sondage auprès de 39 personnes : il fallait choisir, entre deux images, celle qui ressemblait le plus à une image générée par IA. Les participants ont remarqué une différence importante entre un bruit faible et un bruit fort. En revanche, ils n'ont pas su distinguer la nouvelle répartition du bruit d'un bruit classique. Même un petit gain mesurable dans l'espace latent ne se transforme donc pas en amélioration visible.

Limites et conclusion pratique

L'auteur énumère lui-même les points faibles de son travail. Les métriques sont calculées dans l'espace latent, et non selon la perception visuelle. Par défaut, 16 paires d'images ont été utilisées pour chaque budget de bruit. Sur Anima, une autre version de ComfyUI a été employée que pour les autres modèles. Le sondage est informel et a été réalisé sans sélection des participants. Tout cela interdit d'étendre les conclusions à d'autres modèles et d'autres régimes sans nouvelle vérification.

Pour les développeurs de pipelines, la conclusion pratique est simple. Si vous réglez un échantillonneur SDE pour un modèle de flow matching, inutile de le compliquer avec des règles adaptatives : choisissez d'abord un calendrier de bruit fixe tenant compte des bords de la fenêtre, puis vérifiez le résultat à budget total égal. Sinon, vous risquez de prendre une simple réduction du bruit pour la réussite de la méthode.

L'auteur estime qu'il faut parler de tels résultats négatifs. Il a publié le code, les chiffres image par image et l'analyse du sondage dans le dépôt flow-sde-research sur GitHub. Le preprint est disponible sur Zenodo.