Des pas d'échantillonneur à angle de rotation égal ont réduit l'erreur d'un modèle de flux de 30 à 43 %

Chaque pas d'un modèle de flux lors de la génération d'une image coûte un passage complet dans un grand réseau. Tout le monde veut donc moins de pas à qualité égale, et la question principale est de savoir où placer précisément ces pas. L'auteur de l'étude publiée sur Habr a testé une belle idée : tirer un indice de ce que l'échantillonneur calcule déjà gratuitement. L'idée n'a survécu qu'à moitié, et la seconde moitié s'est révélée plus pratique que la première.

Un signal gratuit et ce qu'il voit

Un échantillonneur multi-pas de type Adams-Bashforth conserve la vitesse précédente. Le cosinus entre l'ancienne et la nouvelle vitesse ne nécessite aucun appel supplémentaire au réseau. S'il est proche de 1, la trajectoire est presque droite et le pas peut être augmenté. Si la direction change brusquement, il vaut mieux fractionner le pas.

Ce signal a un angle mort : le cosinus voit la rotation de la vitesse, mais pas la variation de sa norme. Sur Anima, cela gêne à peine au milieu de la trajectoire, où la norme représente 0,3 à 0,4 % de l'énergie d'accélération. Aux extrémités, la contribution de la norme monte à 8–9 %, par endroits jusqu'à 23 %.

L'estimation de l'erreur du pas d'Euler E = (h/2)·|v|·θ, où θ est l'angle entre vitesses voisines, fonctionne bien. Son rapport médian à l'erreur réelle est de 80 à 84 %, et la corrélation entre unités (combinaisons de prompt et de seed) atteint 91 à 92 %. Il ne faut qu'une constante de calibrage.

Il existe aussi un plancher de bruit. En bf16 avec classifier-free guidance, l'angle entre deux calculs de vitesse voisins fluctue d'environ 1,7°. C'est un effet d'arrondi, pas une rugosité du flux. Un contrôleur visant un angle inférieur à ce plancher s'effondre vers le pas minimal.

Le contrôleur a perdu, la grille a gagné

Le contrôleur adaptatif h_next = h · (angle_cible / angle_mesuré) s'est révélé, à nombre d'appels égal, moins bon que le calendrier standard. L'erreur dépendait non de l'angle cible, mais du pas initial : 0,80 pour un pas de 0,06, 0,51 pour 0,02 et 0,26 pour 0,01. La raison : au premier pas, il n'y a pas d'historique, et le contrôleur est aveugle là où la courbure est maximale.

L'auteur a alors construit une grille statique à l'avance. Il a moyenné le rythme de rotation de la vitesse sur les 11 autres unités et placé les pas de sorte que l'angle de rotation soit identique à chaque pas. Puis il a lancé un Euler ordinaire.

Résultat : l'erreur par rapport à la solution convergée est inférieure de 30 à 43 % pour 8, 12, 16 et 24 appels par rapport au calendrier standard de ComfyUI. En ajoutant le profil de propagation de l'erreur (une erreur précoce pèse environ quatre fois plus à la fin), le gain atteint 41 à 50 %. 8 appels donnent alors une erreur plus faible que le calendrier standard à 24. Sur un prompt avec un visage, la grille retrouve la composition de référence dès 8 pas, tandis que le calendrier standard dessine autre chose.

L'adaptation à une image précise n'a rien apporté. Une grille issue d'une image, appliquée à une autre, a donné la même erreur. C'est donc la forme de la grille qui apporte le gain, et non l'ajustement à la trajectoire.

Où cela casse

La métrique change la donne. Selon LPIPS, la grille gagne de 30 à 35 % et l'emporte dans 9 à 11 unités sur 12. Sur les aplats, les visages et les grilles géométriques, le LPIPS est inférieur de 39 à 48 %. Mais sur un prompt texturé (fourrure), le LPIPS est environ 16 % moins bon, alors que la distance dans l'espace latent s'est améliorée. La grille place les pas tôt, là où se décide la composition, et peu à la fin, là où apparaît la texture fine ; l'image est donc plus lisse.

L'auteur énumère honnêtement les limites :

• un seul modèle (Anima), une seule résolution, une seule échelle de guidance ;
• 12 unités, les effets inférieurs à 5–8 % ne sont pas visibles ;
• les hypothèses n'ont pas été fixées avant les mesures, la découverte sur le premier pas a été faite post hoc ;
• seuls Euler et Adams-Bashforth 2 ont été testés, et sur de telles grilles, le second est moins bon qu'Euler ;
• l'idée n'est pas nouvelle : une approche similaire a été proposée dans CAT-Flow, auquel l'auteur ne s'est pas comparé.

Que faire de tout cela

Si vous faites tourner un modèle de flux dans ComfyUI et comptez les appels au réseau, ne croyez pas que le calendrier standard soit optimal pour un faible nombre de pas. Pour Anima, le dépôt contient des listes de sigmas prêtes pour 8, 12, 16 et 24 appels. On peut les fournir au nœud de sigmas manuels avec l'échantillonneur standard euler (576×768, CFG 5).

Pour un autre modèle, il faut relever des trajectoires de référence et calculer le profil du rythme de rotation. Cela prend environ deux minutes par image. L'auteur n'a pas vérifié combien d'images suffisent. Pour les scènes texturées, mieux vaut comparer la grille à l'œil, et pas seulement avec la métrique latente. Le code, 30 tests et le preprint sont disponibles dans le dépôt YakovSava/zero-cost-proxy-research.