KAIST apprend aux VLM à diffusion à ne pas regarder l'image : 35% du calcul pour 99,6% de la qualité

Une équipe de KAIST propose une méthode pour accélérer les modèles multimodaux à diffusion. Ces réseaux de neurones comprennent images et texte, mais ne génèrent pas leur réponse mot après mot : ils produisent des paquets de tokens, en « dévoilant » progressivement des tokens masqués. La méthode s'appelle LOWN (Look Only When Needed, « ne regarder que quand c'est nécessaire »). Sur dix benchmarks, elle conserve 99,6% des scores du modèle LLaDA-V pour 35,3% de son coût de calcul au décodage. Elle ne demande ni réentraînement du modèle ni réglage de seuils.

Pourquoi le modèle recalcule inutilement la même image

Les VLM à diffusion (DVLM) ont une particularité de conception. Leur attention est bidirectionnelle : le cache exact de clés et de valeurs, habituel pour les modèles autorégressifs, ne s'applique donc pas directement. L'inférence classique fait passer toute la séquence à chaque étape : image, prompt et réponse. Les tokens visuels y représentent 89–97%, et une passe sans eux ne coûte que 3–10% d'une passe complète. La majeure partie du calcul sert donc à retraiter une image qui ne change pas.

Les auteurs ont vérifié à quelle fréquence l'image est réellement utile. Ils ont comparé les prédictions de LLaDA-V avec et sans image, sur une même trajectoire de décodage et sur les dix benchmarks :

• Pour 83,4% des positions que le modèle s'apprêtait à dévoiler, le token le plus probable était le même dans les deux modes. • 85,0% des tokens finaux étaient déjà apparus comme meilleure prédiction à leur position avant le moment de leur dévoilement. • L'image ne modifiait le token dévoilé que dans 22,8% des étapes en moyenne. L'écart est important : 7,9% sur MMBench, contre 43,8% sur DocVQA, où il faut lire du texte sur des scans.

Sur huit benchmarks sur dix, les divergences se concentrent au début de la génération, mais ce schéma n'est pas universel, comme le montre DeCapBench. Un calendrier fixe du type « regarder l'image toutes les N étapes » fonctionne donc mal : le besoin de l'image dépend à la fois de la tâche et de l'étape.

Comment LOWN décide si l'image est nécessaire

Après chaque passe complète (avec l'image), la méthode enregistre ses prédictions et leur niveau de confiance comme « ancre ». Aux étapes suivantes, elle lance une passe peu coûteuse sans tokens visuels, en conservant les indices de position. Le schéma est ensuite le suivant :

• Les positions masquées sont triées selon la confiance de l'ancre. • Un token est considéré comme confirmé si la prédiction sans image coïncide avec l'ancre. • La méthode retient le plus long préfixe de tokens confirmés consécutifs. La première divergence l'interrompt. • Si le préfixe est au moins aussi long que le nombre habituel de tokens par étape, la passe complète est sautée. Tout le préfixe est accepté, ce qui permet de dévoiler en une étape plus de tokens que le modèle de base. • Si le préfixe est plus court, une passe complète est lancée. Elle met à jour l'ancre, et les positions où les prédictions avec et sans image divergent sont dévoilées en premier.

Le nombre d'étapes ne dépasse pas celui du modèle de base, et la longueur du préfixe accepté est déterminée par l'entrée elle-même, sans seuil défini manuellement. La confirmation se trompe parfois : une passe complète ultérieure invalide 2,2–4,7% des tokens dévoilés lors des étapes sans image. Pour éviter que l'erreur ne s'accumule, l'ancre est entièrement remplacée à chaque passe complète.

Ce que montrent les expériences

L'évaluation a porté sur dix benchmarks : tests à choix multiples, compréhension de documents et de graphiques, problèmes mathématiques, descriptions détaillées d'images. Parmi les méthodes d'accélération dont le budget est au moins égal à celui de LOWN, celle-ci arrive en tête sur huit benchmarks sur dix. La comparaison incluait l'élagage de tokens visuels (RedVTP, ZOO-Prune), le calendrier de dévoilement KLASS et le cache Fast-dLLM.

Détail important : LOWN ne remplace pas les autres méthodes, il se combine avec elles. Il modifie la fréquence des passes complètes, tandis que l'élagage et le cache réduisent le coût de chaque passe. Associé à l'élagage ou au cache, il réduit de 1,8 à 2,5 fois le coût de la méthode partenaire. Couplé au cache, le décodage est 5,6–7,0 fois plus rapide qu'avec le modèle d'origine. La même règle s'applique à LaViDa et à VidLaDA, c'est-à-dire à d'autres DVLM et à la vidéo.

Ce que cela change pour les ingénieurs

Si vous faites tourner des VLM à diffusion sur des documents ou des graphiques, le principal poste de dépense est le retraitement de l'image. LOWN le réduit sans réentraînement ni réglage d'hyperparamètres propre à la tâche, et peut donc être branché au moment de l'inférence. Une limite est à garder en tête : le gain dépend du benchmark. Plus la requête contient de tokens visuels et plus la réponse a rarement besoin de l'image, plus l'économie est importante. Sur des tâches comme DocVQA, où l'image est nécessaire à près de la moitié des étapes, elle est plus modeste. Les auteurs ont publié le code et la page du projet.