SLVR gagne 14,2 points sur BLINK Relation avec Qwen2.5-VL-7B, sans CoT textuel

Les auteurs de SLVR montrent comment amener un modèle multimodal à s'appuyer sur l'image plutôt que de deviner la réponse à partir du texte de la question, sans payer ce gain par une longue chaîne de raisonnement en sortie. Sur la base de Qwen2.5-VL-7B, la méthode apporte +9,4 points sur MMVP et +14,2 sur BLINK Relation. Des améliorations sont également relevées sur V*, MathVista et ChartQA. Le modèle ne génère aucun raisonnement textuel au moment de répondre.

Quatre étapes latentes plutôt qu'un long CoT

Le problème est connu. Les LLM multimodaux répondent souvent aux questions visuelles à partir de priors linguistiques, et non de ce qui est réellement représenté sur l'image. Le chain-of-thought textuel corrige en partie ce défaut : le modèle décompose la question en étapes de recherche d'indices. Mais ces étapes sont générées de manière autorégressive, et le coût d'inférence croît avec la longueur de la chaîne. Le raisonnement latent coûte moins cher, puisqu'il n'y a pas de texte explicite. En revanche, on ignore ce que les états intermédiaires encodent exactement, et il est impossible d'y associer un signal d'entraînement distinct pour la planification, l'ancrage dans une région ou la sélection des indices.

SLVR cherche à combiner le meilleur des deux approches. L'entraînement se déroule en deux temps. Le modèle apprend d'abord à regarder l'image : on masque dans le texte les fragments qui trahissent la réponse, et on oppose la bonne réponse à des distracteurs visuellement plausibles. Le raisonnement est ensuite décomposé en étapes latentes typées : planification, ancrage (grounding), sélection des indices visuels et intégration. Chaque étape reçoit sa propre supervision : respectivement des plans, des boîtes englobantes (boxes), des indices visuels et des justifications finales. Les étapes latentes se voient ainsi dotées d'une structure fonctionnelle, et l'inférence n'exige pas de générer une chaîne textuelle.

Ce que montrent les benchmarks

Les auteurs ont testé la méthode sur un seul modèle de base. Résultats annoncés :

• base : Qwen2.5-VL-7B ;
• MMVP : +9,4 points en absolu ;
• BLINK Relation : +14,2 points en absolu ;
• V*, MathVista, ChartQA : améliorations, sans que le résumé en précise l'ampleur ;
• inférence : sans décodage de CoT textuel.

Quelques réserves. Le résumé ne donne pas de valeurs absolues et n'indique pas à quoi les résultats sont comparés : modèle d'origine, fine-tuning classique ou variante avec CoT textuel. Cela pèse lourd dans l'interprétation. MMVP est de petite taille, le gain y est donc susceptible d'être bruité. On ne dispose pas non plus de données sur l'économie réelle à l'inférence : le résumé affirme l'absence de surcoût de décodage, mais aucune mesure de latence ni de tokens n'est fournie. Le travail n'est pour l'instant qu'un preprint sur arXiv, sans vérification indépendante. Une page de projet est en ligne.

À qui cela peut servir

L'idée intéresse avant tout les équipes qui affinent des VLM ouverts pour des tâches d'analyse visuelle précise : lecture de graphiques, relations spatiales, détection de petits objets dans une image. Là où le CoT textuel coûte trop cher en latence, une approche latente structurée apparaît comme une alternative raisonnable.

Le coût se joue côté données. L'entraînement requiert des plans, des boîtes, des indices visuels et des justifications, soit un étiquetage nettement plus riche que les paires « image — réponse » habituelles. Avant de transposer la méthode en production, il faut estimer la part de ces annotations que l'on peut obtenir automatiquement, et vérifier le gain sur ses propres données, et pas seulement sur des benchmarks publics. Le débogage constitue une question à part. Les étapes typées devraient en théorie être plus faciles à analyser que des états cachés non structurés, mais le résumé n'en apporte aucune confirmation. Il faudra le vérifier dans l'article complet et dans le code.