VICO entraîne les VLM sur des images réécrites : jusqu'à +5,0% sur les nouvelles tâches

L'équipe à l'origine du préprint arXiv 2610.10782 propose VICO, un schéma de post-entraînement des modèles vision-langage dans lequel un « réécrivain » d'environnement est entraîné en même temps que le modèle lui-même. Sur neuf benchmarks multimodaux de raisonnement mathématique et visuellement ancré, VICO-8B surpasse le modèle de base jusqu'à +5,0% sur les tâches hors domaine. Elle devance les meilleures baselines d'auto-évolution de 4,3% et les baselines à édition textuelle des tâches de 8,4%. Face aux méthodes RLVR spécialisées sur les graphiques, elle reste à un niveau comparable, mais utilise 16 à 160 fois moins d'exemples annotés.

Le problème de départ est familier à quiconque a pratiqué le RLVR (apprentissage par renforcement avec récompenses vérifiables). L'ensemble de tâches est figé, alors que le modèle progresse. Une partie des exemples devient triviale, une autre reste insoluble, et le signal d'apprentissage utile s'effondre. Le remède classique consiste à acheter de l'annotation ou à collecter de nouvelles données à la main. Les auteurs proposent autre chose : faire évoluer l'environnement à la suite de l'acteur.

Comment fonctionne VICO

La boucle comprend deux composants entraînables. Le premier est l'acteur, c'est-à-dire le VLM lui-même. Le second est l'Environment-as-Rewriter (EnvRewriter). Il ne touche pas directement aux pixels. Il édite les structures vérifiables dont l'image est issue : graphes de scène, tables de données derrière les graphiques, masques de régions protégées. L'image est ensuite redessinée.

La réponse reste ainsi valide par construction. Si une valeur change dans la table d'un graphique, la bonne réponse est recalculée à partir de cette même table, sans intervention humaine. La récompense de l'EnvRewriter se calcule d'après la part de réussites de l'acteur (pass rate) : l'éditeur est récompensé pour les tâches situées à la frontière des capacités actuelles du modèle, c'est-à-dire ni trop faciles ni désespérées. La difficulté est ainsi tirée en continu vers le niveau de l'acteur.

C'est ce qui distingue VICO des deux approches voisines auxquelles les auteurs se comparent. Les méthodes d'auto-évolution font progresser le modèle sur ses propres données. La co-évolution par édition textuelle modifie les formulations, tandis que VICO reconstruit le versant visuel de la tâche.

Ce que disent les chiffres

L'abstract permet d'établir les points suivants :

• 9 benchmarks multimodaux : raisonnement mathématique et compréhension visuellement ancrée ;
• VICO-8B fait mieux que le modèle de base jusqu'à +5,0% sur les tâches out-of-domain ;
• +4,3% par rapport à la meilleure baseline d'auto-évolution (self-evolution) ;
• +8,4% par rapport à la baseline de co-évolution textuelle ;
• parité avec les méthodes RLVR spécialisées sur les graphiques, avec 16 à 160 fois moins d'échantillons annotés ;
• aucune annotation humaine supplémentaire n'est utilisée dans la boucle.

Les réserves sont évidentes. Il s'agit d'un préprint sans vérification indépendante, et « jusqu'à +5,0% » désigne le maximum observé sur les benchmarks, non le gain moyen. L'abstract ne nomme pas le modèle de base et ne dit rien du coût de calcul de l'entraînement conjoint de deux composants. L'écart « de 16 à 160 fois » montre aussi que l'économie d'annotation dépend fortement du concurrent considéré.

Ce que les équipes peuvent essayer

L'idée principale se transpose au-delà de l'article : si vous disposez de données avec une source structurelle (tables derrière les graphiques, scènes, schémas, annotations de régions), vous pouvez construire sur cette base un générateur de tâches aux réponses garanties exactes. On obtient alors un environnement pilotable plutôt qu'un jeu de données ponctuel.

Le minimum pratique se présente ainsi. Il faut d'abord mesurer la distribution du pass rate sur les exemples d'entraînement. Si la plupart des tâches se concentrent autour de 0 ou de 1, le RLVR statique a déjà atteint son plafond. Il convient ensuite de choisir une classe de données étroite à structure vérifiable, par exemple les graphiques, et de tester un éditeur qui maintient la difficulté dans la « fenêtre de travail » des réussites. Enfin, il faut évaluer le résultat sur des jeux out-of-domain, puisque c'est là que les auteurs relèvent l'essentiel du gain.

La limite est tout aussi claire. L'approche exige des images que l'on peut redessiner fidèlement à partir d'une structure. Pour des photographies quelconques, sans graphe de scène ni table, cette voie est fermée, et l'on ignore dans quelle mesure VICO passe à l'échelle sur d'autres types de tâches visuelles.