INT8 abîme à peine les images, et le sampler AB-2 bat Euler dans 12 tests sur 12

Si vous faites tourner Flux, Qwen-Image ou des modèles similaires sur une carte graphique grand public, vous utilisez presque certainement des poids quantifiés : les nombres du modèle sont arrondis à 8 bits (INT8) pour qu'il tienne en mémoire. Un conseil circule avec cette pratique : sur un tel modèle, évitez les samplers « sophistiqués », c'est-à-dire les algorithmes qui transforment pas à pas le bruit en image, car ils accumuleraient l'erreur d'arrondi. L'auteur du projet Flow-WLS a testé cette idée par la mesure.

Résultat : le bruit dû à l'INT8 est à peine visible sur l'image, et le simple sampler AB-2 s'est montré meilleur que l'Euler de base dans les 12 combinaisons testées (3 valeurs de CFG × 4 nombres de pas) sur le modèle Anima. Concrètement, si vous restez sur Euler uniquement par crainte de la quantification, vous pouvez abandonner cette crainte et changer de sampler en modifiant une seule entrée de la liste déroulante de ComfyUI. Une conclusion peu confortable pour l'auteur lui-même : son idée Flow-WLS, issue d'un précédent travail, a perdu face à Euler à faible nombre de pas.

Petit lexique. CFG : la force avec laquelle le modèle suit le texte du prompt ; plus elle est élevée, plus toute erreur est amplifiée. Euler : le sampler le plus simple, qui avance d'un pas en s'appuyant uniquement sur la prédiction courante. AB-2, AB-3, AB-4 : méthodes d'Adams-Bashforth, qui prennent en compte 2, 3 ou 4 pas précédents, comme si l'on estimait une vitesse de déplacement non à partir d'une seule image, mais de plusieurs. LPIPS : métrique qui mesure à quel point deux images diffèrent pour la « vision » d'un réseau de neurones ; plus elle est faible, plus l'image est proche de la référence.

Ce qui a été testé et comment

Les auteurs ont retenu quatre modèles de type flow : Anima (en bf16 et avec simulation de FP8, INT8, INT4, NVFP4), Flux3-Klein INT8, Krea 2 INT8 (avec ConvRot) et Moss-Image INT8. Ils ont utilisé 4 prompts, 2–3 seeds, de 8 à 24 pas et un CFG de 1 à 5. La référence est le même modèle exécuté sur un très grand nombre de pas (96 pour le portrait sur Anima).

Pour Flux3, deux modes du même modèle ont été comparés : avec de vrais noyaux INT8 (Q) et avec les mêmes poids décompressés en bf16, sans quantification des activations (D). L'écart entre les deux isole l'erreur pure des noyaux. Avant les expériences, les auteurs ont consigné dans le README 15 hypothèses (H1–H15) et leurs conditions de validation, afin de ne pas ajuster la conclusion au résultat. Une partie des hypothèses n'a pas été confirmée, et cela figure dans le texte.

La quantification est inoffensive, le bruit est blanc

L'erreur des vrais noyaux INT8 représente 1,3% de la norme de la vitesse à CFG 1 et 5,7% à CFG 4. Cette hausse d'un facteur 4,36 s'explique : l'erreur est multipliée par le guidance, comme toute différence de prédictions. Sur le latent final, cela donne au plus 0,02 d'erreur relative. La distance LPIPS entre les résultats Q et D est de 0,014 à CFG 1 et de 0,029 à CFG 4 ; à l'œil, on ne peut pas les distinguer.

Le bruit est en outre « blanc » : la corrélation entre pas voisins est de −0,001. À chaque pas, l'erreur est donc nouvelle et ne s'accumule pas dans un sens. Or ce type de bruit est précisément celui que les méthodes d'ordre élevé amplifient. D'après le calcul, relativement à Euler, AB-2 l'amplifie d'un facteur 1,06, AB-3 d'un facteur 1,21 et AB-4 d'un facteur 1,97. Mais l'erreur excédentaire propre à AB-4 (0,5–0,8) est des dizaines de fois supérieure à l'effet de la quantification (jusqu'à 0,02) : le coupable n'est pas l'INT8, mais le choix de la méthode.

Que choisir en pratique

Sur Anima, les auteurs ont testé CFG 1, 3 et 5 à 8, 12, 16 et 24 pas, avec neuf méthodes au total :

• AB-2 est meilleur qu'Euler dans les 12 cellules, de 0,03–0,12 sur l'erreur de latent, et les intervalles de confiance n'incluent pas zéro ;
• DPM++ 2M devance Euler à CFG élevé sur 16–24 pas ;
• à CFG 1 (Flux3-Klein et Krea 2 distillés), AB-3 et la sélection dynamique sont les meilleurs ;
• AB-4 et les longues fenêtres de Flow-WLS n'ont nulle part été le meilleur choix à 12 pas ou moins.

Les images le confirment. Sur Anima à 8 pas, Euler laisse un bruit presque noir (LPIPS 0,89), tandis que DPM++ 2M (0,35) et AB-2 (0,42) produisent une image aboutie ; à 16 pas, Euler obtient 0,34 contre 0,20 pour DPM++ 2M, 0,21 pour AB-3 et 0,23 pour AB-2. Sur Krea 2 à 12 pas, Euler rend une peau « plastique » (0,34), alors qu'AB-3 (0,21) restitue pores et taches de rousseur. Sur Flux3-Klein à 12 pas, Euler, DPM++ 2M, AB-2 et AB-3 sont identiques à l'œil (0,15) : il n'y a donc aucune raison d'y changer de sampler.

L'explication tient à la nature de la sortie du réseau : une tendance lisse plus un bruit non corrélé d'un pas à l'autre. Son ampleur est d'environ 1% de la norme à CFG 1, d'environ 4% à CFG 3 et de 6–7% à CFG 5. Les règles à poids élevés amplifient ce bruit et ne gagnent que tant qu'il reste faible.

Une tentative d'ajuster un filtre d'historique sur les données n'a apporté qu'un gain d'au plus 3,4% sur la meilleure règle existante ; un nouveau sampler de la famille Flow-WLS est donc inutile. Résultat annexe : la métrique de cohérence sur un seul pas prédit mal le classement final, alors que celle cumulée le long de la trajectoire le prédit assez bien (corrélation de Spearman de 0,77 en moyenne).

Installation : clonez le dépôt YakovSava/flow-wls-research dans ComfyUI/custom_nodes/ et redémarrez ComfyUI. Les entrées flow_ab2, flow_ab3 et flow_ab4 apparaissent dans la liste sampler_name. Un nœud Flow Easy Sampler propose aussi un choix entre deux variantes. AB-k ne requiert aucun appel supplémentaire au modèle, et coûte donc autant qu'Euler. Recommandations : modèle classique avec CFG 3 et plus — flow_ab2, et aussi dpmpp_2m à partir de 16 pas ; modèle distillé à CFG 1 — flow_ab3 ; en dessous de 12 pas — ni flow_ab4 ni les longues fenêtres de Flow-WLS.

Limites

LPIPS mesure la distance à une image obtenue en de nombreux pas, pas la beauté ; il n'y a pas de test en aveugle sur des humains. L'échantillon est réduit : 4 prompts, 4 modèles, un seul seed par image, sans sélection du meilleur résultat. Pour Moss-Image, il n'existe pas de référence convergée, si bien que seuls les effets de grande ampleur sont fiables ; pour Flux3 à CFG 4, la référence converge à 20–34%.

Pour Moss et Krea 2, seul le mode Q a été mesuré. L'erreur d'arrondi des poids eux-mêmes par rapport à l'original bf16, inconnu, n'a pas été mesurée. Les modèles de type SDXL n'ont pas été testés.

AB-2 et DPM++ 2M ont été ajoutés à une partie des expériences après les premiers résultats, ce qui est signalé dans le README. AB-2 n'est pas une méthode nouvelle : la valeur du travail réside dans les mesures et dans le résultat négatif concernant l'idée même des auteurs.