UCSD entraîne un modèle d'images de 3 milliards de paramètres en 6600 GPU-heures H100

Une équipe de l'Université de Californie à San Diego propose une nouvelle façon d'entraîner les modèles qui génèrent des images à partir de texte. Elle divise la génération en deux tâches : comprendre ce que l'image doit contenir, puis le dessiner en détail. La première revient à un modèle autorégressif, qui prédit les tokens un par un, comme un modèle de langage.

La seconde revient à la diffusion, c'est-à-dire à l'« apparition » progressive de l'image à partir du bruit. Avec ce schéma, les chercheurs ont entraîné un modèle de 3 milliards de paramètres en seulement 6600 GPU-heures sur H100. Il obtient 86 sur GenEval et 87 sur DPG-Bench.

GenEval vérifie que le modèle restitue correctement les objets du prompt, leur nombre, leurs couleurs et leur disposition. DPG-Bench fait de même sur des descriptions longues et détaillées.

Un backbone apprend le sens, l'autre dessine les pixels

On oppose généralement les modèles autorégressifs et la diffusion comme des rivaux : lequel produira la meilleure image ? Les auteurs jugent cette comparaison mal posée, car chacun des deux systèmes résout en réalité deux tâches distinctes à la fois. Il faut d'abord assimiler des connaissances visuelles : l'apparence des objets et leur disposition. Il faut ensuite les traduire en une image détaillée.

Le schéma s'inspire des modèles de langage, où un pré-entraînement précède un affinage.

• Dans la première étape, un tokenizer gelé transforme l'image en tokens discrets. Un modèle autorégressif textuel apprend à les prédire. Les positions à prédire sont tirées dans un ordre aléatoire, et le modèle reçoit des tokens spéciaux servant de repères.

• Dans la seconde étape, le backbone autorégressif est gelé. On y ajoute des modules de diffusion entraînables, qui exploitent ses couches d'attention et ses représentations internes. • La diffusion opère directement dans l'espace des pixels, sans espace latent.

Elle s'entraîne par flow matching, c'est-à-dire qu'elle prédit comment passer du bruit à l'image nette. • À l'entraînement, le moteur de rendu reçoit les tokens de l'image réelle. À la génération, ils sont remplacés par les tokens que le modèle autorégressif a produits à partir du texte de la requête.

Une meilleure reconstruction ne produit pas une meilleure image

La première expérience portait sur des modèles de 400M de paramètres au total. Les variantes en deux étapes combinaient un backbone de 250M et un moteur de rendu de 150M. L'autorégression était comparée à la diffusion latente (LDM) dans le rôle de pré-entraînement.

• L'autorégression suivie de la diffusion atteint 64,8 sur GenEval dès 100 mille mises à jour. La diffusion pixel pure, après 400 mille itérations, plafonne à 61,2. • Après un entraînement prolongé, le résultat monte à 65,5 sur GenEval et 71,1 sur DPG-Bench. • La diffusion latente directe obtient 57,3, et l'enchaînement « diffusion latente, puis diffusion pixel » seulement 56,6. La seule séparation en deux étapes ne garantit rien. C'est bien l'autorégression qui est nécessaire.

Les chercheurs ont ensuite examiné ce que l'étape autorégressive doit apprendre. Ils ont comparé trois tokenizers. Le premier, Recon, basé sur Emu3.5, conserve les détails nécessaires à la reconstruction de l'image. Le deuxième, Semantic-Recon, quantifie les features de l'encodeur gelé de Qwen2.5-VL et s'entraîne avec une reconstruction. Le troisième, Semantic-LM, s'entraîne uniquement par la prédiction du token suivant au sein de Qwen2.5-VL gelé, sans décodeur d'images ni fonction de perte de reconstruction.

Le résultat est inattendu. Recon reconstruit les images le mieux et génère aussi le mieux par lui-même, mais son résultat final est le plus faible. Semantic-Recon atteint 65,5 sur GenEval contre 54,7 pour Recon, et 71,1 contre 63,0 sur DPG-Bench. En AR-only GenEval, Recon est devant (57,49 contre 50,44), mais après la diffusion, l'ordre s'inverse : 54,67 contre 65,51. Semantic-LM, sans aucune reconstruction, obtient 64,8 sur GenEval et 67,7 sur DPG-Bench. La conclusion des auteurs : la qualité finale dépend de la sémantique des tokens, et non de leur capacité à restituer fidèlement les pixels.

Lois d'échelle et budget de 6600 GPU-heures

Avec deux tâches se pose la question de la répartition du calcul entre les étapes. Les auteurs ont établi des lois d'échelle séparées pour le pré-entraînement autorégressif et pour l'affinage par diffusion. La loi autorégressive a été ajustée sur 18 modèles de 55,71M à 2,43B de paramètres. Pour comparer, ils ont aussi entraîné une diffusion pixel from scratch, avec des hyperparamètres réglés séparément.

À taille de modèle et volume de données égaux, la diffusion issue d'un pré-entraînement autorégressif affiche une perte plus faible et une asymptote ajustée plus basse que le modèle entraîné from scratch. Le pré-entraînement n'accélère pas seulement la convergence : il relève le plafond de qualité du rendu.

Sur la base de ces lois, les chercheurs ont retenu un modèle d'environ 3B de paramètres et réparti le budget entre les deux étapes. Ils obtiennent un modèle text-to-image à 86 sur GenEval et 87 sur DPG-Bench.

Pour les ingénieurs, cela signifie qu'un tokenizer destiné à la génération d'images n'a pas besoin de décodeur. Une sémantique apprise à partir du signal linguistique suffit. La séparation « connaissances d'un côté, rendu de l'autre » permet alors d'obtenir un modèle compétitif avec un budget modeste. Pour les laboratoires sans grands clusters, c'est un abaissement sensible du ticket d'entrée. Réserve : les résultats proviennent de benchmarks précis et de quelques tokenizers, et la généralité de l'approche reste à vérifier.