MMVistaReason : une recette ouverte permet à un modèle de 4B de battre Qwen3.5-9B sur 15 benchmarks

Les modèles de raisonnement multimodaux ouverts s'entraînent depuis longtemps sur de vastes corpus de trajectoires annotées, mais la qualité en sortie reste souvent instable : les données sont hétérogènes, la difficulté est déséquilibrée et les domaines se gênent mutuellement. Les auteurs de MMVistaReason (MVR) proposent une recette de post-entraînement complète, fondée sur des données ouvertes, et chiffrent le résultat. Le modèle MVR-4B obtient en moyenne 72,8 points sur 15 benchmarks multimodaux et dépasse Qwen3.5-9B (Instruct) ainsi que MMFineReason-8B. Il y parvient avec environ 70% d'échantillons d'entraînement en moins que MMFineReason. La version 9B relève la moyenne à 74,4 et devance Qwen3.5-35B-A3B (Instruct).

Trois couches de la recette : couverture, données, spécialisation

La première couche concerne la couverture des compétences. Les auteurs répartissent les capacités en deux groupes complémentaires, Analytical et Real-World. L'accent porte sur le raisonnement structurel, et pas seulement sur la perception visuelle et l'ancrage spatial (spatial grounding).

La deuxième couche porte sur la construction des données. Des jeux de données ouverts hétérogènes sont ramenés à un format unique par un nettoyage et une annotation progressifs. Pour le SFT, les auteurs appliquent une distillation en cascade depuis des modèles enseignants, en tenant compte de la difficulté des tâches. Parmi les trajectoires générées, ils retiennent celles dont la vraisemblance de la bonne réponse (answer-likelihood) est la plus élevée. Cette sélection donne le corpus MVR-SFT-528K. Pour le RL, un jeu distinct, MVR-RL-63K, est filtré selon la « frontière » des capacités d'une taille de modèle donnée : les tâches ne doivent être ni trop faciles, ni manifestement hors de portée.

La troisième couche s'appelle specialize-then-integrate. Des experts RL complémentaires sont d'abord entraînés, chacun dans son domaine. Leurs compétences sont ensuite réunies dans un seul modèle par multi-teacher on-policy distillation (MOPD).

Aux petits modèles la sélection, les grands s'en accommodent

L'analyse de la dépendance à la capacité du modèle est le point le plus intéressant de l'article. La difficulté des exemples, la qualité des trajectoires et la taille de l'étudiant s'influencent mutuellement. Les petits modèles tirent un net bénéfice d'une supervision soigneusement sélectionnée. Les grands sont plus robustes : ils tolèrent la dispersion de qualité des trajectoires et l'interférence entre domaines mélangés.

Un RL mixte sur plusieurs domaines provoque un transfert négatif au niveau de certains benchmarks : un gain à un endroit se paie par une baisse ailleurs. Le MOPD, lui, intègre les compétences de façon stable. De plus, le sens préférable de la divergence KL dans la distillation change avec la taille du modèle : il n'existe donc pas de réglage universel.

Ce qui a été comparé et ce qui en ressort

• MVR-4B : moyenne de 72,8 sur 15 benchmarks multimodaux • MVR-9B : moyenne de 74,4 sur les mêmes 15 benchmarks • Qwen3.5-9B (Instruct) : derrière MVR-4B • MMFineReason-8B : derrière MVR-4B, tout en utilisant environ 70% d'échantillons en plus que ce dont MVR a besoin • Qwen3.5-35B-A3B (Instruct) : derrière MVR-9B • MVR-SFT-528K : corpus de l'étape supervisée • MVR-RL-63K : corpus de l'étape RL, filtré selon la frontière des capacités • MOPD : méthode de fusion des experts RL par distillation on-policy multi-enseignants

Il faut lire avec prudence la comparaison avec Qwen3.5-35B-A3B : il s'agit d'un modèle MoE à faible nombre de paramètres actifs, et la comparaison porte sur sa version Instruct. Il n'en reste pas moins qu'un modèle dense de 9B, entraîné sur des données ouvertes, dépasse un modèle nettement plus gros en nombre total de paramètres. C'est précisément ce que soulignent les auteurs.

Ce qu'il faut retenir pour votre pipeline

Pour les équipes qui affinent des VLM ouverts, l'article permet de tirer plusieurs règles pratiques. Si le modèle est petit, investissez dans la sélection des trajectoires et le calibrage de la difficulté : c'est là que le rendement est le plus élevé. S'il est grand, on peut économiser sur le nettoyage, mais pas sur la séparation des domaines dans le RL.

Mélanger tous les domaines dans une seule exécution de RL est risqué. Il est plus fiable d'entraîner des experts spécialisés et de les fusionner par distillation, en choisissant le sens de la KL selon la taille du modèle. Les tâches de RL doivent être filtrées pour une échelle précise : un jeu adapté à un modèle de 9B peut se révéler inutile pour un 4B.

Le code du projet est publié sur GitHub, dans le dépôt JackieForest/MMVistaReason. L'article est paru le 22 octobre 2026 ; ses auteurs sont Juekai Lin, Honglin Lin, Yuqian Yuan, Xiaolong Wu, Jie Cao, Liang Liang, Yunqi Cao, Yun Zhu, Wenqiao Zhang et Lijun Wu. Le travail figure dans les Hugging Face Daily Papers, où il n'a pour l'instant recueilli que trois upvotes : il faudra donc encore attendre des vérifications indépendantes des résultats.