Deux frères ont entraîné un modèle text-to-image pour 20 000 dollars et publié ses poids sous licence Apache 2.0

Habituellement, les discussions sur la création de son propre modèle génératif butent sur le mot « budget ». Deux frères du laboratoire Linum ont décidé de vérifier combien coûte réellement un modèle text-to-image convenable. Réponse : environ 20 000 dollars. Ils ont publié les poids sous licence Apache 2.0 et mis leur étude en ligne.

Ce qu’ils ont fait

La norme du secteur est la diffusion latente. Un VAE compresse d’abord l’image dans un espace latent compact, puis le modèle de diffusion apprend à générer dans cet espace. Cela implique deux phases d’entraînement, deux modèles et deux sources possibles d’erreurs.

Linum a supprimé le VAE. Le modèle de diffusion travaille directement dans l’espace des pixels et apprend lui-même la représentation optimale pour sa tâche. L’architecture s’appelle Pyramid-JiT. Le modèle a été entraîné pendant environ un mois dans le cadre d’une expérience de plus longue durée : environ 20 000 dollars et 660 millions d’exemples.

Pourquoi c’est important

Les auteurs avancent trois avantages. Premièrement, l’architecture est plus simple : il n’est pas nécessaire d’entraîner successivement deux composants. Deuxièmement, selon leurs données, la convergence est 11 fois plus rapide que celle de l’équivalent latent. Troisièmement, l’inférence coûte moins cher : le contexte d’attention peut être réduit d’un facteur 4 de manière plus agressive, sans baisse perceptible de la qualité.

Imaginez une start-up qui génère des illustrations marketing. Auparavant, disposer de son propre modèle relevait du luxe : location d’un cluster, équipe de chercheurs et plusieurs mois de travail. Il existe désormais une méthode publique dont le coût correspond à celui d’une petite série d’expériences. Ce n’est pas un substitut à Midjourney, mais c’est déjà une base suffisante pour un modèle étroitement spécialisé.

Cette initiative poursuit aussi un objectif plus ambitieux. Linum développe des modèles vidéo, et presque tous les modèles vidéo commencent comme des modèles d’image. Les auteurs plaisantent eux-mêmes en disant que les modèles apprennent d’abord les noms, puis les verbes. Si les images deviennent peu coûteuses à produire, la vidéo le deviendra également ; or la vitesse et le coût empêchent actuellement d’utiliser la vidéo dans un processus créatif itératif.

Limites

Quelques réserves s’imposent d’emblée. Il s’agit d’un projet présenté sur Show HN par une équipe minuscule, et non d’un benchmark indépendant. Les auteurs parlent eux-mêmes d’une qualité « convenable » et disent avoir été surpris par le résultat ; leur billet ne contient aucun tableau comparatif avec les leaders du marché.

Les chiffres concernant une accélération par 11 et une réduction par 4 du nombre de tokens proviennent de leurs propres comparaisons avec leur propre variante latente : il ne faut donc pas les extrapoler à n’importe quelle autre tâche. Les 20 000 dollars ne couvrent par ailleurs que l’entraînement final : d’après la description, les dépenses liées aux expériences précédentes et à la sélection de l’architecture n’y sont pas incluses.

La discussion sur Hacker News reste pour l’instant modeste : environ 110 points et 11 commentaires. Aucun consensus retentissant ne se dégage ; il est donc plus juste d’y voir un signal intéressant qu’une percée démontrée.

Que faire de cette information

Si vous développez un produit fondé sur la génération d’images, téléchargez les poids et testez-les avec vos propres prompts : la licence Apache 2.0 permet leur utilisation commerciale sans restriction particulière. Si vous êtes chercheur ou ingénieur ML, lisez l’étude sur Pyramid-JiT et demandez-vous si votre prochain projet a réellement besoin d’un VAE. Et si vous travaillez côté produit, retenez surtout ceci : le seuil d’entrée pour créer ses propres modèles génératifs vient encore de baisser, et l’argument « c’est trop cher » devient de moins en moins convaincant.