LILIE apprend la génération d'images par le langage et fait passer le gFD de 66,84 à 53,01

Une équipe de chercheurs présente LILIE (prononcer « lili »), pour Language-Informed and Lossless Image Encoder : un encodeur d'images réversible, entraîné conjointement avec un modèle vision-langage. Les auteurs s'en servent pour construire une perte simple, informée par le langage, destinée à la génération d'images à partir de texte. Dans leurs expériences avec des modèles JiT sur le jeu de données GPIC, la métrique gFD passe de 66,84 à 53,01, soit près de 14 points de moins que le modèle de référence entraîné uniquement avec une perte pixel. Le code, les encodeurs et les modèles génératifs sont en accès libre.

Pourquoi les pixels ont besoin du langage

Ces derniers temps, la génération end-to-end directement dans l'espace des pixels obtient des résultats compétitifs sans tokenizers d'images entraînés. Le pipeline y gagne en simplicité : plus d'étape distincte d'entraînement d'un autoencodeur, ni les pertes d'information qui vont avec. Un point faible demeure toutefois. La perte pixel mesure l'écart entre l'image générée et la référence pixel par pixel, et elle ne sait pas, par elle-même, quels détails comptent sur le plan sémantique et lesquels non.

Les auteurs testent une hypothèse : la supervision linguistique peut-elle fournir un signal d'apprentissage plus riche que la simple comparaison de pixels ? Pour y répondre, ils ne passent pas par un énième tokenizer latent, mais par un encodeur distinct, utilisé uniquement comme source de perte.

Comment fonctionne LILIE

LILIE est une transformation réversible de l'image. Le mot Lossless figure dans son nom : en théorie, les caractéristiques permettent de reconstruire l'image entière. Sur le plan architectural, il s'agit d'un normalizing flow transformer.

L'astuce centrale tient à l'entraînement. L'encodeur est entraîné conjointement avec un modèle vision-langage par prédiction du token suivant. Le VLM reçoit des caractéristiques bruitées et doit en reconstruire la légende de l'image. Pour y parvenir malgré le bruit, ces caractéristiques doivent conserver le contenu sémantique, et pas seulement la texture de bas niveau.

Une fois l'entraînement terminé, l'encodeur est converti en perte pour le text-to-image. Le modèle génératif est comparé à la cible non seulement en pixels, mais aussi dans l'espace des caractéristiques de LILIE. Les auteurs qualifient cette perte de simple. La formule exacte et le poids des termes ne sont pas détaillés dans le résumé de l'article.

Ce que montrent les expériences

Les auteurs ont entraîné des modèles JiT avec la perte LILIE et les ont comparés à une variante n'utilisant que la perte pixel.

• Méthode : normalizing flow transformer, entraîné conjointement avec un VLM par next token prediction
• Tâche : génération d'images à partir de texte
• Modèle génératif : JiT
• Métrique gFD : 66,84 → 53,01 (−13,83 points, soit environ −21%)
• Jeu de données : GPIC
• En accès libre : code, encodeurs, modèles génératifs

Le gain est net, mais le tableau reste incomplet d'après le résumé. Un seul résultat est publié, sur un seul jeu de données et avec une seule métrique. Le gFD évalue la proximité entre les distributions d'images générées et réelles ; il ne garantit pas que le modèle suive plus fidèlement le prompt. On ignore la taille des modèles, le coût d'entraînement lié à la perte supplémentaire, ainsi que le positionnement face aux modèles de diffusion latente les plus performants. La comparaison porte sur une baseline pixel, pas sur les leaders du marché.

Ce qu'il faut tester en pratique

Pour ceux qui entraînent leurs propres modèles génératifs, l'intérêt est concret. Puisque le code et les encodeurs sont publiés, on peut essayer la perte LILIE comme terme supplémentaire à l'entraînement pixel existant, sans modifier l'architecture du modèle génératif.

Ce qu'il faut mesurer en priorité :

• le surcoût d'entraînement : l'encodeur doit être exécuté à chaque étape, ce qui pèse sur la mémoire et le temps ;
• le gain sur votre propre jeu de données, et pas seulement sur GPIC, avec non pas le seul gFD, mais aussi des métriques d'adéquation au texte et une évaluation humaine ;
• la stabilité de l'effet quand on change la taille du modèle et la durée d'entraînement.

Si le gain se confirme, cette approche offrira aux modèles pixel un moyen d'obtenir un signal sémantique sans revenir aux tokenizers. Dans le cas contraire, on aura un résultat utile sur les limites de la supervision linguistique. Ce sont des reproductions indépendantes qui trancheront.