Modèle de Diffusion
Un modèle de diffusion est un système d'IA génératif qui produit des images, de l'audio ou de la vidéo en apprenant à inverser un processus d'ajout de bruit itératif, en commençant par du bruit aléatoire et en le désbruitant progressivement par des étapes apprises pour produire une sortie cohérente.
Un modèle de diffusion est une classe de modèle génératif qui apprend la distribution des données réelles—la plupart couramment des images—en entraînant à défaire un processus stochastique qui corrompt progressivement les données propres en bruit pur. L'approche est enracinée dans la thermodynamique statistique hors équilibre et a été formalisée pour l'apprentissage profond dans l'article Denoising Diffusion Probabilistic Models (DDPM) de Ho et al. en 2020. Les modèles de diffusion sous-tendent maintenant la plupart des systèmes de génération d'images leaders : Stable Diffusion de Stability AI, DALL-E 3 d'OpenAI, Imagen et Imagen 3 de Google, et Adobe Firefly reposent tous sur la diffusion ou une modélisation générative basée sur le score étroitement liée.
L'entraînement implique deux processus. Le processus avant prend un échantillon de données propres et ajoute de petites quantités de bruit gaussien sur T étapes (souvent 1 000 ou plus), produisant une séquence de l'image originale au bruit pur ; ce processus est fixe et ne nécessite aucun paramètre appris. Le processus inverse est ce que le réseau de neurones apprend : étant donné un échantillon bruyant à l'étape t et le niveau de bruit, prédire le bruit qui a été ajouté, permettant sa soustraction. À l'inférence, le modèle commence à partir du bruit gaussien aléatoire et applique itérativement cette étape de débruitage pour produire un échantillon de la distribution de données apprises. La génération conditionnée sur le texte est réalisée via l'attention croisée aux enchâssements de texte (de CLIP ou T5), et la guidance sans classifieur amplifie l'adhésion au prompt texte au détriment de la diversité. Les méthodes d'échantillonnage accéléré—DDIM, DPM-Solver, et flow matching—ont réduit les étapes de débruitage requises de milliers à des dizaines, ou même une seule étape avec la distillation de cohérence.
Les modèles de diffusion ont largement supplanté les réseaux génératifs adverses (GANs) comme le paradigme dominant de génération d'images après 2022. Les GANs nécessitent un équilibre d'entraînement adversaire délicat entre le générateur et le discriminateur, souffrent de l'effondrement de mode, et sont difficiles à mettre à l'échelle. Les modèles de diffusion s'entraînent avec un objectif de débruitage simple, sont stables à optimiser, produisent des échantillons de haute qualité diversifiés, et se mettent à l'échelle de manière prévisible avec la taille du modèle et des données. La publication publique de Stable Diffusion 1.x en août 2022, qui permettait l'exécution de la génération d'images sur les GPU de consommateurs, a déclenché une adoption rapide et une explosion de produits en aval et de recherche.
En 2026, la diffusion et les modèles de flow matching étroitement liés restent l'épine dorsale de la génération d'images et de vidéos commerciale. Le flow matching—utilisé dans Stable Diffusion 3, les modèles FLUX de Black Forest Labs, et plusieurs générateurs vidéo—offre un objectif d'entraînement mathématiquement plus propre et une inférence plus rapide que le DDPM, et est de plus en plus préféré dans les nouveaux systèmes. Les modèles de diffusion vidéo, incluant Sora d'OpenAI (annoncé février 2024) et Veo de Google, étendent l'architecture à la cohérence temporelle entre les images. Au-delà des visuels, les approches basées sur la diffusion sont appliquées à la synthèse vocale (AudioLM de Google, Voicebox de Meta) et à la conception moléculaire, où les modèles comme ceux de Schrödinger et Insilico Medicine génèrent les molécules de candidat en débruitant dans l'espace des coordonnées 3-D.