L'architecture SpecSlot réduit le FID de 2,84 face à JiT-CM et économise 3,9% de GFLOPs

Les modèles génératifs qui travaillent directement en espace pixel se passent d'un autoencodeur entraîné séparément, et donc de son goulot d'étranglement de compression. Le prix à payer : une longue séquence, puisqu'il faut convertir l'image entière en tokens de transformeur. L'architecture SpecSlot dissocie deux paramètres habituellement rigidement liés : le niveau de détail de l'image produite par le modèle et le nombre de tokens qui participent à l'attention globale.

Sur ImageNet-512, la configuration W256/K4 abaisse le FID (la métrique de distance entre images générées et réelles : plus il est bas, mieux c'est) de 2,84 par rapport à JiT-CM. Il s'agit d'un modèle de contrôle JiT, calibré par les auteurs sur les mêmes FLOPs. SpecSlot consomme par ailleurs 3,9% de GFLOPs en moins.

Pourquoi la grille de patchs se heurte à l'attention quadratique

Dans la plupart des transformeurs en espace pixel, un token correspond à un patch spatial. La grille de patchs détermine à la fois ce que le modèle lit, ce que chaque token prédit et combien de tokens entrent dans l'attention globale. Sur une image de 256×256, réduire le patch de 16 à 8 fait passer le nombre de tokens de 256 à 1024, et la part quadratique du coût de l'attention augmente d'autant.

Les approches existantes attaquent le problème par différents côtés. JiT fait passer chaque patch par la séquence globale. Les systèmes multiéchelles déportent les détails vers des étapes supplémentaires ou vers des têtes de « détail ». Les méthodes d'attention efficace raccourcissent la séquence par fenêtrage, par tokens globaux sélectionnés ou par une parcimonie apprise. Spectral Forcing exploite la structure fréquentielle, mais uniquement pour filtrer l'entrée bruitée, et ses tokens restent des patchs spatiaux. Dans tous ces schémas, le niveau de détail en sortie reste attaché à la grille de patchs, même lorsque les échanges entre tokens sont compressés ou limités.

Read, Allocate, Route : ancres et slots spectraux

Les auteurs partent d'une observation : les basses fréquences portent l'organisation générale de l'image et profitent des échanges à longue distance, tandis que les détails fins sont pour l'essentiel locaux. Dans les schémas existants, la façon dont un token communique avec les autres dépend de sa position, et non de ce qu'il produit en sortie. SpecSlot change cela et construit le calcul à partir de trois opérations.

Read : l'image est lue sur une grille d'ancres spatiales, qui collectent les données d'entrée. Une petite convolution à initialisation nulle permet aux cellules voisines d'échanger de l'information avant la séparation des rôles. Allocate : chaque ancre se déploie en slots indexés, et chaque slot reçoit son propre groupe radial, sans chevauchement, de coefficients DCT (transformée en cosinus discrète). Route : le rôle détermine la communication. Dans l'étape globale, seul le slot portant le groupe de fréquences les plus basses passe de chaque ancre, tandis qu'à l'intérieur d'une ancre, tous les slots interagissent.

Le schéma d'attention s'appelle GGLL (global–global–local–local) : un porteur basse fréquence par ancre entre dans les blocs globaux, et tous les slots travaillent dans les blocs locaux au sein de l'ancre. Les états finaux des slots décodent une base spectrale fondée sur la lapped-DCT, ainsi qu'une correction spatiale alignée sur les ancres. Les deux sont additionnés dans l'espace pixel. La correction n'ajoute pas de nouveaux tokens. L'état, la cible et la fonction de perte restent dans l'espace pixel, et le modèle est entraîné dans le cadre du rectified flow.

On obtient ainsi deux variables de répartition distinctes. L'une fixe la densité des ancres spatiales, l'autre le découpage spectral à l'intérieur d'une ancre. Le nombre total de slots augmente, mais la séquence globale ne contient que les porteurs. Un budget fixe de tokens peut être dépensé soit en ancres plus denses, soit en rôles spectraux plus fins. Le choix de la taille de patch devient un arbitrage explicite entre qualité et calcul.

Ce que montrent les mesures

Sur ImageNet-256 et ImageNet-512, SpecSlot offre deux points de fonctionnement mesurés entre les configurations JiT bon marché et coûteuses. Sur ImageNet-512, la variante W256/K4 n'est derrière JiT-B/16 que de 0,69 en FID, mais coûte 38,2% moins cher. Des fenêtres de sortie plus grandes couvrent davantage de pixels à séquence globale inchangée. Les auteurs y voient la raison pour laquelle le gain par rapport à JiT-CM s'est révélé plus important.

En génération d'images à partir de texte, SpecSlot a devancé JiT-B/8 de 1,06 point sur DPG-Bench (un test de correspondance entre l'image et une description complexe), avec un coût de passe avant inférieur de 40,6%.

Les auteurs formulent eux-mêmes une réserve : des parts égales de coefficients entre les slots ne signifient pas un coût égal, car la communication et les projections ne varient pas de la même façon avec le découpage. Il faut donc comparer les coûts mesurés, et pas seulement le nombre de tokens. Les auteurs ont publié le code et les poids sur GitHub et Hugging Face.