Les créateurs de Stable Diffusion entraînent FLUX 3 sur des images, des vidéos et du son à la fois
Black Forest Labs, l'équipe à l'origine de Stable Diffusion, entraîne FLUX 3 sur des images, des vidéos et du son à la fois. L'image montre où se trouve la balle, la vidéo montre comment elle y est arrivée, et le son d'un impact signale le moment du contact, même si la caméra ne l'a pas capté. Le upscaler vidéo repose sur la même base afin que les détails ne scintillent pas. Il faut donc évaluer la qualité en mouvement, et non sur une seule image.
Traité par IA depuis Latent Space (swyx) ; édité par Hamidun News
Black Forest Labs (BFL) est un laboratoire fondé par d'anciens de Stability AI, les auteurs de Stable Diffusion. Il développe aujourd'hui FLUX 3, et la principale nouveauté réside dans la façon dont ce modèle est entraîné : sur des images, des vidéos et du son à la fois, et non sur des images seulement. Le problème est familier à quiconque a tenté de générer des vidéos.
Une image isolée peut sembler parfaite, mais dès que la caméra tourne autour d'une personne ou qu'un son est ajouté, on voit que le modèle se représente mal la structure de la scène. Dans le podcast Latent Space, Andreas Blattmann, coauteur de la méthode de diffusion latente, et Dustin Podell, auteur principal de SDXL et responsable du projet FLUX Kontext, en parlent.
Une balle qui vient vers vous
Blattmann illustre l'« intelligence visuelle » par un exemple que l'on peut vérifier d'une seule main. Quand on vous lance une balle, votre main se met en mouvement avant même qu'elle ne soit arrivée. Vous ne calculez pas sa trajectoire, et vous seriez d'ailleurs incapable de la noter. C'est précisément ce type de connaissance du monde que le laboratoire veut faire acquérir au modèle.
Chaque type de donnée a son rôle. Une image fixe montre où se trouve la balle à un instant donné. La vidéo montre comment elle y est arrivée. Le son d'un impact indique quand la balle a heurté quelque chose, même si la caméra n'a pas capté le moment du contact. C'est pourquoi BFL entraîne FLUX 3 sur ces trois signaux ensemble, plutôt que d'assembler des modèles distincts.
Il existe aussi un test plus parlant. Imaginez une caméra placée devant une personne qui tourne lentement autour d'elle. À un moment, le modèle doit montrer l'arrière de la tête. Selon Blattmann, une vidéo bidimensionnelle ordinaire contient de nombreux indices sur l'apparence des objets vus sous d'autres angles. L'animateur et son invité débattent de la question de savoir si cela prouve que le modèle « comprend la physique ». Mais un tel test est plus honnête que la question de savoir si une image isolée paraît convaincante.
Pourquoi l'agrandissement produit du scintillement
L'exemple le plus concret de la fin de l'échange concerne l'augmentation de la résolution d'une vidéo. Si chaque image est améliorée séparément, chacune peut paraître excellente prise isolément. Mais à la lecture, les détails ajoutés se mettent à scintiller : l'upscaler, c'est-à-dire l'outil d'augmentation de résolution, prend à chaque fois une décision légèrement différente, et il en résulte une ondulation entre images voisines.
BFL construit son upscaler vidéo sur la même base que FLUX 3. La cohérence temporelle est nécessaire même lorsque l'utilisateur demande seulement un fichier de meilleure définition. Pour les développeurs, la conclusion est simple : un traitement image par image produit presque inévitablement des artefacts. Si vous travaillez sur la restauration, l'agrandissement ou le montage, évaluez le résultat en mouvement, et non sur des captures d'écran.
Où dépenser le calcul à l'entraînement
L'animateur a demandé si l'autorégression ne va pas supplanter la diffusion pour la génération d'images. Blattmann reconnaît les avantages des deux approches. Un modèle autorégressif apprend sur tous les tokens d'un exemple d'entraînement à la fois. La diffusion a son atout : son long processus de génération peut être compressé en quelques étapes seulement. Ce qui compte le plus dépend de ce que l'on paie : l'entraînement du modèle ou l'attente de l'image finale.
Dustin Podell montre comment l'équipe choisit où investir. Il a supposé qu'un modèle capable de dessiner un chien avec un chapeau sait déjà où placer un chapeau. Avec un collègue, il a rassemblé un petit ensemble de photos accompagnées de descriptions des relations entre les objets. Un entraînement de quelques heures a suffi pour que le modèle place un logo sur un t-shirt. Le résultat était grossier, mais il a suffi à faire une démonstration lors d'une réunion d'équipe. Ensuite, des mois ont été consacrés aux données et au modèle. C'est ainsi qu'est né FLUX Kontext, qui applique la modification demandée tout en préservant le reste de l'image.
L'histoire préférée de Podell : des gens ont envoyé à FLUX de vieilles photos de famille abîmées, les ont restaurées et les ont montrées à leurs proches. Il n'avait pas prévu cet usage. Ce sont justement les proches figurant sur ces clichés qui peuvent constater si la ressemblance des personnes a été préservée lors des retouches et d'une image à l'autre.
Ce que le matériau ne dit pas
Il s'agit d'un entretien et d'une annonce, et non d'un article technique. On n'y trouve ni benchmarks, ni comparaisons avec les concurrents, ni chiffres de qualité pour FLUX 3. La liste des chapitres mentionne les « modèles d'action du monde » (des modèles qui prédisent comment une scène évolue après une action) et la « robotique en 2027 », mais les notes ne contiennent aucun détail à ce sujet. La thèse selon laquelle les trois signaux donnent une compréhension plus profonde du monde reste pour l'instant une position du laboratoire, et non un résultat démontré.
La conclusion pratique pour ceux qui développent des produits à partir de modèles génératifs : vérifiez la qualité lors des mouvements de caméra, des changements d'angle et de la préservation des détails et des visages d'une image à l'autre. Image, vidéo et son seront de plus en plus souvent entraînés dans un même modèle, et les chaînes d'outils séparées devront être repensées.
- 21 nov. 2026Le hub Huawei Ascend s'est enrichi de 26 miroirs de modèles ouverts en cinq heures
- 21 nov. 20269 modèles 3D sur 20 issus d'IA se sont révélés inutilisables pour l'impression 3D
- 18 nov. 2026sd.cpp à la place de Forge Neo : neuf modèles sur un GPU de 16 Go génèrent une image en 5 à 68 secondes
- 12 nov. 2026JetBrains intègre Air pour agents aux IDE 2026.3 et divise les utilisateurs avec un écran de démarrage
Questions clés sur cet article
Que sait-on sur Une balle qui vient vers vous ?
Blattmann illustre l'« intelligence visuelle » par un exemple que l'on peut vérifier d'une seule main. Quand on vous lance une balle, votre main se met en mouvement avant même qu'elle ne soit arrivée. Vous ne calculez pas sa trajectoire, et vous seriez d'ailleurs incapable de la noter. C'est précisément ce type de connaissance du monde que le laboratoire veut faire acquérir au modèle. Chaque type de donnée a son rôle. Une image fixe montre où se trouve la balle à un instant donné.
Pourquoi l'agrandissement produit du scintillement?
L'exemple le plus concret de la fin de l'échange concerne l'augmentation de la résolution d'une vidéo. Si chaque image est améliorée séparément, chacune peut paraître excellente prise isolément. Mais à la lecture, les détails ajoutés se mettent à scintiller : l'upscaler, c'est-à-dire l'outil d'augmentation de résolution, prend à chaque fois une décision légèrement différente, et il en résulte une ondulation entre images voisines. BFL construit son upscaler vidéo sur la même base que FLUX 3.
Que sait-on sur Où dépenser le calcul à l'entraînement ?
L'animateur a demandé si l'autorégression ne va pas supplanter la diffusion pour la génération d'images. Blattmann reconnaît les avantages des deux approches. Un modèle autorégressif apprend sur tous les tokens d'un exemple d'entraînement à la fois. La diffusion a son atout : son long processus de génération peut être compressé en quelques étapes seulement. Ce qui compte le plus dépend de ce que l'on paie : l'entraînement du modèle ou l'attente de l'image finale.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.