CacheScope accélère les modèles de diffusion jusqu'à 3,57x et réduit le LPIPS de 70%

Une équipe d'auteurs a publié sur arXiv un préprint présentant CacheScope, une surcouche au cache de features des transformers de diffusion. La méthode accélère l'inférence jusqu'à 3,57 fois et ramène le LPIPS médian à 70,1% par rapport à la meilleure méthode de référence à base de sondes. Les tests portent sur trois modèles : FLUX.1-dev pour l'image, Wan2.1-T2V-1.3B et Open-Sora 1.2 pour la vidéo. Ni réentraînement, ni gradients, ni réseaux auxiliaires ne sont nécessaires.

Où le cache de features atteint ses limites

La logique de l'accélération training-free est simple. À certaines étapes du débruitage, le modèle ne calcule pas tous les blocs : il utilise à la place une approximation tirée d'un cache constitué lors des étapes précédentes. Jusqu'ici, les chercheurs ont surtout cherché à reconstruire plus précisément les features sautées, en concevant des reconstructeurs de plus en plus sophistiqués.

Selon les auteurs de CacheScope, cette voie se heurte à un plafond. Dès qu'on dispose d'un reconstructeur stable du premier ordre, complexifier davantage apporte peu. Un autre facteur pèse bien plus sur la qualité : les étapes où le modèle calcule réellement et celles où il puise dans le cache. D'après leurs données, le placement des étapes exactes compte nettement plus que le raffinement de l'approximation.

Un signal de risque plutôt que la variation brute

Reste à savoir comment déterminer que le cache est risqué à une étape donnée. Les méthodes à base de sondes existantes mesurent de combien la sortie d'une sonde peu profonde a changé. Les auteurs soulignent un problème : cette variation absolue dépend de deux facteurs à la fois. Le premier est l'ampleur du déplacement de la trajectoire d'entrée. Le second est la sensibilité du réseau à ce déplacement. Cette valeur ne reflète donc pas directement le risque lié au cache.

La solution est une normalisation. On divise la variation de sortie de la sonde par le déplacement d'entrée correspondant, ce qui donne un gain directionnel par unité de mouvement de la trajectoire. C'est cet indicateur qui sert de signal.

Sur cette base, CacheScope identifie en ligne les étapes où la réutilisation du cache présente un risque élevé et bascule alors vers le calcul complet. Le reconstructeur de cache reste inchangé. La méthode se passe de gradients, d'entraînement supplémentaire, de réseaux auxiliaires et d'optimisation hors ligne du planning pour un prompt donné.

Ce que disent les chiffres annoncés

• Accélération : jusqu'à 3,57x par rapport au débruitage complet.
• Qualité : LPIPS médian inférieur, jusqu'à 70,1%, par rapport à la meilleure méthode de référence à base de sondes.
• Modèles : FLUX.1-dev, Wan2.1-T2V-1.3B, Open-Sora 1.2.
• Prérequis : aucun entraînement, gradient, réseau auxiliaire ni planning spécifique à un prompt.
• Reconstructeur de cache : inchangé, la méthode s'ajoute par-dessus l'existant.

Le « jusqu'à » compte. Les maxima d'accélération et d'amélioration du LPIPS correspondent très probablement à des modèles et des modes différents. L'abstract ne précise ni le matériel utilisé, ni l'évolution des chiffres avec des réglages plus conservateurs. Il s'agit d'un préprint en première version, sans relecture par les pairs ni reproduction indépendante.

Que vérifier en pratique

Pour les équipes qui utilisent déjà le cache de features sur FLUX ou sur des modèles vidéo, un détail d'architecture est intéressant : CacheScope ne remplace pas le reconstructeur, il décide quand celui-ci ne doit pas être utilisé. En théorie, on peut donc l'intégrer à un pipeline existant sans réécrire le cache et sans étape de calibration distincte pour chaque prompt.

Trois vérifications s'imposent avant tout déploiement. Premièrement, comparer la méthode à votre cache actuel sur des prompts réels, et pas seulement via le LPIPS : la métrique est utile, mais ne remplace pas l'évaluation visuelle. Deuxièmement, mesurer sur votre matériel le surcoût de la sonde et des décisions en ligne, car le gain final en dépend. Troisièmement, observer le comportement selon la longueur de la trajectoire et le nombre d'étapes. Pour la vidéo, où les artefacts s'accumulent d'une image à l'autre, ce point est particulièrement critique.

Si les chiffres annoncés se confirment, on tiendrait là un moyen peu coûteux de déplacer l'équilibre entre vitesse et qualité sans réentraîner les modèles.