Omni-Diffusion-Distill accélère d'un facteur 18 les dLLM multimodales : 8 étapes au lieu de 128

Les auteurs d'un preprint publié sur arXiv présentent Omni-Diffusion-Distill, une méthode de distillation en deux étapes pour les modèles de langage de diffusion multimodaux unifiés. Elle ramène la génération d'images de 128 à 8 étapes de décodage, et la compréhension multimodale de 512 à 64. En temps d'exécution, cela représente une accélération de 18,2 et 21,2 fois. Le modèle élève obtient 0,828 sur GenEval et 83,0 sur DPG-Bench en text-to-image. Dans les tâches de compréhension, il atteint 20,0 en score GPT sur MM-Vet.

Pourquoi les dLLM unifiées sont lentes

Une dLLM multimodale unifiée remplace l'association d'un modèle dédié aux images et d'un modèle dédié à la compréhension par une seule architecture. Tout se déroule dans l'espace discret des tokens, qu'il s'agisse de texte ou d'images. Le prix à payer : un décodage itératif. Le modèle affine progressivement un masque de tokens, et chaque réponse exige des dizaines, voire des centaines de passes avant.

Les méthodes existantes de distillation few-step sont conçues pour un seul cas d'usage : soit la génération d'images, soit la génération de texte. Comment compresser une dLLM multimodale entièrement discrète en un seul modèle élève, tout en conservant à la fois la génération et la compréhension, restait une question ouverte. C'est à elle que répond ce travail.

Comment fonctionne la distillation

Dans un premier temps, l'élève apprend à sauter des étapes de décodage. Pour cela, il reproduit des trajectoires de l'enseignant mises en cache. Dans un second temps, il est affiné sur des états intermédiaires issus de ses propres inférences. Il est ainsi confronté aux erreurs qu'il commet réellement avec un décodage court, et pas seulement aux trajectoires idéales de l'enseignant.

Les auteurs traitent séparément deux sources de dégradation propres au cadre unifié :

• La pénalité de collisions par paires (pairwise collision penalty) réduit les répétitions lors du décodage parallèle du texte. Quand le modèle choisit plusieurs tokens en une seule étape, il tend à produire les mêmes.
• Le guidance à cohérence entropique empêche l'effondrement de l'entropie. Celui-ci survient lorsque l'élève s'ajuste à la distribution « affûtée » de l'enseignant pour la génération d'images.

Les chiffres de l'article

• Génération d'images : 128 → 8 étapes, accélération de 18,2x.
• Compréhension multimodale : 512 → 64 étapes, accélération de 21,2x.
• GenEval : 0,828 ; DPG-Bench : 83,0.
• MM-Vet (score GPT) : 20,0.
• COCO captioning : 57,2, soit le double des 28,4 de l'enseignant à nombre d'étapes identique.

Un détail mérite l'attention. Le gain en temps (18,2x et 21,2x) dépasse la réduction du nombre d'étapes (16x et 8x). Le résumé de l'article n'en explique pas la raison. Il pourrait s'agir du coût d'une étape ou de la simplification du guidance, mais ce n'est qu'une hypothèse, et la réponse se trouve dans le texte intégral. La comparaison avec l'enseignant sur COCO, à budget d'étapes égal, montre aussi qu'une dLLM classique perd nettement en qualité quand on réduit agressivement le nombre d'étapes, alors que le modèle distillé tient le coup.

À quoi cela peut servir

Pour ceux qui construisent des produits multimodaux sur des LLM de diffusion, l'enseignement pratique est clair : la latence cesse d'être un argument contre cette classe de modèles. Huit étapes par image et 64 pour la compréhension se rapprochent davantage des scénarios interactifs que des centaines de passes. Les premiers bénéficiaires sont les applications où un même modèle doit à la fois dessiner et décrire : assistants, éditeurs d'images, outils pour l'e-commerce.

Les réserves sont celles d'un preprint classique. Les résultats n'ont pas été évalués par des pairs et ont été mesurés par les auteurs eux-mêmes sur des benchmarks de leur choix. Les valeurs absolues sur MM-Vet restent modestes. Le résumé ne dit rien d'une éventuelle publication du code et des poids. Avant d'intégrer la méthode en production, il faut attendre une reproduction sur d'autres modèles et une validation sur des charges réelles.