Des générateurs d'images IA déjà entraînés apprennent à compléter n'importe quelle zone pour une fraction du coût

Les modèles autorégressifs génèrent une image comme les modèles de langage écrivent du texte : token après token. L'image est d'abord découpée en codes discrets, puis un transformeur les prédit un à un, en général ligne par ligne, de gauche à droite et de haut en bas. Cet ordre s'appelle le balayage raster (raster scan).

Des chercheurs de Stony Brook University et de l'ÉTS Montréal proposent une méthode pour transformer un modèle raster déjà entraîné en générateur à ordre arbitraire. Il sait combler des zones manquantes à l'intérieur du cadre (inpainting), prolonger l'image au-delà de ses bords (outpainting) et éditer des zones choisies. Il n'est pas nécessaire de réentraîner de zéro pour cela.

Selon les auteurs, cette adaptation supplémentaire coûte plus d'un ordre de grandeur de moins qu'un entraînement « à ordre quelconque » mené depuis le début.

Pourquoi un modèle ligne par ligne ne sait pas réparer le milieu de l'image

Avec un entraînement raster, le modèle ne voit jamais que ce qui est dessiné au-dessus et à gauche. Il n'a pas appris à prédire un token dont les voisins de droite et du bas sont connus. Un masque au milieu du cadre le met donc en difficulté.

Il existe deux manières de contourner cette limite, et toutes deux sont coûteuses :

• Entraînement de zéro sur un mélange d'ordres. RandAR, par exemple, demande 300 époques, contre 100 pour LlamaGen-XL en mode ligne par ligne. Le budget triple.
• Diffusion discrète, dont relève MaskGIT. Le modèle reconstruit de manière itérative les tokens masqués, avec une attention bidirectionnelle. La qualité est bonne, mais le KV-cache (le stockage de données intermédiaires déjà calculées pour éviter de les recalculer à chaque étape), le décodage spéculatif et les serveurs comme vLLM ne fonctionnent pas avec ce schéma.

Les entreprises qui disposent déjà d'un pipeline et de serveurs autorégressifs sont contraintes de bâtir à côté une seconde pile. Les auteurs jugent cette dépense superflue.

Deux ingrédients sans lesquels le réentraînement échoue

L'idée repose sur une propriété mathématique : d'après la règle de la chaîne des probabilités, la distribution conjointe des tokens peut être décomposée dans n'importe quel ordre. Un modèle qui a bien assimilé les images dans un ordre sait donc déjà presque tout ce qu'il faut. Ce qui lui manque, c'est la capacité d'exploiter ce savoir avec un autre ordre. Deux composants sont nécessaires pour cela, et aucun ne fonctionne seul.

Embeddings positionnels « tournés vers l'avenir » (future-aware). Avec l'ordre raster, le modèle sait toujours ce qu'il dessine ensuite. Avec un ordre aléatoire, un même contexte peut mener à des cibles différentes.

Le token du ciel et celui d'un visage sont prédits différemment à partir des mêmes données visibles, et les gradients entrent en conflit. Dans le modèle de langage XLNet, ce problème était résolu par un second flux d'attention, qui double le calcul dans la couche et casse le KV-cache. Ici, la solution est plus simple.

On ajoute à l'entrée de chaque étape un vecteur appris correspondant à la position à prédire ensuite. La table démarre à zéro, et l'ajout n'est fait qu'à la couche d'entrée. L'architecture reste un transformeur classique à flux unique.

Le choix de la position pour l'attention est traité à part. Dans LlamaGen, qui utilise les embeddings positionnels rotatifs RoPE, comme dans RAR, qui emploie des tables de positions absolues, on retient l'index spatial du token, et non le numéro de l'étape. Le modèle conserve ainsi tout ce qu'il savait sur la proximité des pixels.

Complexification progressive des ordres (curriculum). Si l'on fournit d'emblée des permutations aléatoires, les pertes sont énormes, les gradients bruités, et le modèle sort du bon point de préentraînement en oubliant ce qu'il avait accumulé. Les auteurs introduisent un coefficient qui croît linéairement : au début, presque tous les exemples suivent l'ordre raster, puis la part d'ordres aléatoires augmente. Chaque exemple du batch reçoit sa propre permutation. Réduire simplement le pas d'apprentissage n'aide pas ici : le gradient pointerait dans la même direction défavorable. Le calendrier modifie la composition même des données d'entraînement, et les premiers gradients restent cohérents avec la solution préentraînée. Si l'on retire l'un des deux composants, l'entraînement diverge ou la qualité chute nettement.

Résultats et prix à payer

La méthode a été appliquée à quatre modèles de base, issus de deux architectures et de deux tailles : LlamaGen-L, LlamaGen-XL, RAR-L et RAR-XL. Résultats :

• Sur l'inpainting et l'outpainting sur ImageNet, les modèles adaptés devancent nettement MaskGIT en FID. Cette métrique compare la distribution des images générées à celle des images réelles : plus elle est basse, mieux c'est.
• Les résultats sont comparables à ceux de MAR-L, qui travaille avec des tokens continus et une tête de diffusion. Le modèle n'a été entraîné spécifiquement à aucune de ces tâches.
• Les mêmes poids gèrent le complètement, l'extension et l'édition par zones. Seul change l'ensemble des tokens connus fournis en entrée.
• Il y a un prix à payer. Sur LlamaGen-XL, le FID de la génération classique conditionnée par classe a augmenté. L'Inception Score, la précision et le rappel restent proches de ceux du modèle d'origine. Les auteurs le disent sans détour : c'est un échange de qualité contre de la flexibilité, pas une transformation gratuite.

L'architecture reste causale, si bien que le KV-cache et le décodage parallèle fonctionnent. Le modèle peut tourner sous vLLM, en enregistrant un modèle personnalisé. Pour la diffusion discrète, selon les auteurs, c'est impossible par construction.

Ce que cela change pour les ingénieurs

Celui qui possède déjà un modèle d'images autorégressif préentraîné et l'infrastructure qui va avec obtient de l'édition sans seconde pile et sans nouvel entraînement complet. L'inpainting et l'outpainting deviennent un mode du modèle existant. Les limites sont également claires. La validation se borne à ImageNet et à quatre modèles de base, et la génération classique perd légèrement en qualité. Mais la direction est nette : on peut tirer des capacités utiles de modèles déjà entraînés. Le code est publié sur GitHub, dans le dépôt Ordered-AR/unlockedadaptation.