Halcyon devance LlamaGen et JiT-T2I avec un compute de préentraînement 18 à 275 fois moindre

Une équipe de chercheurs montre qu'un modèle text-to-image performant n'exige pas de préentraînement linguistique à l'échelle d'Internet. La famille Halcyon a été entraînée entièrement de zéro sur GPIC, un jeu de données de 100 millions de paires image-texte. La plus petite version, Halcyon-0.52B, atteint un gFD de 48,0 contre 63,3 pour LlamaGen-XL/8, et dépense 18,2 fois moins de calcul en préentraînement. La plus grande, Halcyon-1.6B, dépasse JiT-T2I-XXL/8++ avec un score de 35,3 contre 41,0, pour un compute 275 fois inférieur. Dans les deux comparaisons, plus le score est bas, mieux c'est.

Ce que les chercheurs ont testé

Les systèmes T2I actuels s'appuient en général sur un modèle de langage préentraîné sur d'immenses corpus de texte. L'idée sous-jacente : un tel modèle comprend mieux le prompt, donc dessine plus précisément. Les auteurs remettent cette thèse en question et se demandent si le préentraînement linguistique est nécessaire pour générer des images de qualité.

Halcyon est conçu comme un modèle autorégressif multimodal à fusion précoce. Les tokens textuels et visuels sont traités ensemble dès le départ, sans « tour » linguistique préentraînée distincte. Tout le signal d'apprentissage provient de 100 millions de paires image-texte, un volume modeste à l'échelle des corpus Internet.

Les chiffres et les expériences contrôlées

Le résultat principal tient dans le rapport entre qualité et coût :

• Halcyon-0.52B : gFD de 48,0 contre 63,3 pour LlamaGen-XL/8, avec un compute de préentraînement 18,2 fois inférieur.
• Halcyon-1.6B : gFD de 35,3 contre 41,0 pour JiT-T2I-XXL/8++, avec un compute de préentraînement 275 fois inférieur.
• Données d'entraînement : GPIC, 100 millions de paires image-texte.
• Architecture : autorégression multimodale à fusion précoce, entraînement de zéro.

La comparaison avec les concurrents ne prouve rien sur les causes. Un autre point compte donc davantage : les auteurs ont mené des expériences contrôlées, et un préentraînement uniquement sur du texte n'a pas amélioré la génération T2I. C'est une observation empirique, et non un simple bon score de benchmark. Elle indique que les connaissances textuelles accumulées sur les corpus de langage apportent moins qu'on ne le croit pour la tâche « dessine d'après la description ». Une réserve s'impose toutefois : la conclusion vaut pour un cadre expérimental précis, des tailles de modèles données et un jeu de données donné. On ne peut pas l'étendre à toutes les échelles sans vérification.

Des légendes d'images gratuites

Un autre détail concerne le captioning. Dans l'entraînement T2I, une partie des légendes est généralement supprimée au hasard (caption dropout), afin que le modèle apprenne à la fois la génération conditionnelle et la génération inconditionnelle. Dans Halcyon, cette technique est remplacée par une supervision I2T : au lieu d'une condition vide, le modèle reçoit pour tâche de décrire l'image. Résultat : il apprend à légender les images et conserve une qualité T2I compétitive, avec le même budget de préentraînement.

Un seul modèle, en un seul entraînement, acquiert deux capacités. Pour les équipes qui ont besoin à la fois de génération et d'annotation d'images, cela permet de ne pas maintenir deux pipelines distincts.

Ce qu'il faut en retenir en pratique

Pour les chercheurs et les petites équipes, le signal principal est qu'entraîner son propre modèle T2I coûte moins cher qu'on ne le pensait. Un jeu de 100 millions de paires est nettement plus petit que les corpus web habituels, et l'écart de compute de préentraînement se chiffre en dizaines, voire en centaines de fois. Si les résultats se reproduisent sur d'autres données, les laboratoires sans accès à d'immenses clusters disposeront d'une trajectoire réaliste.

On peut le vérifier soi-même : le code et les modèles sont publiés sur la page du projet, cs.stanford.edu/~keshik/halcyon. Il vaut la peine de tester Halcyon sur ses propres prompts et domaines, car le gFD décrit une distribution, pas l'adéquation à un produit précis. Il est aussi utile de comparer, sur ses propres données, la variante avec supervision I2T au schéma classique avec caption dropout.

Reste la question de l'échelle. Le travail présente des résultats pour des modèles de 0,52 et 1,6 milliard de paramètres. On ne sait pas encore si l'avantage persistera avec un ordre de grandeur de plus. Seul le prochain cycle d'expériences y répondra.