SPLIT-RL apprend aux VLM à percevoir et à raisonner séparément : +1,4–6,1 points face à GRPO

Les auteurs du preprint arXiv:2610.10889 proposent SPLIT-RL, un schéma de post-entraînement dans lequel un modèle vision-langage apprend d'abord à extraire correctement l'information d'une image, puis à en déduire une réponse. La précision moyenne progresse de 1,4–6,1 points par rapport au GRPO standard. Les mesures ont été réalisées sur les modèles Qwen3-VL de 2B à 30B-A3B et sur InternVL3.5-8B. À l'inférence, rien ne change : un seul appel chain-of-thought, comme pour un modèle entraîné avec GRPO classique.

Une seule récompense pour deux compétences

Le raisonnement vision-langage repose sur deux volets : un volet visuel (VR), où le modèle extrait de l'image les détails utiles et exacts, et un volet linguistique (LR), où il construit la réponse à partir de ces détails. L'apprentissage par renforcement avec récompenses vérifiables (RLVR) fait généralement passer les deux volets par une seule chaîne de raisonnement, avec une récompense portant uniquement sur la réponse finale. Chaque token du CoT reçoit le même advantage, calculé au niveau de la séquence.

Si le modèle lit mal une valeur sur un graphique alors que sa logique est irréprochable, les étapes correctes sont pénalisées elles aussi. Si la perception était juste mais que la conclusion est fausse, la perception est pénalisée à son tour. Le signal n'indique pas quelle compétence a failli.

Deux phases et un advantage au niveau des affirmations

SPLIT-RL découpe l'entraînement en phases distinctes qui ne se recouvrent pas : le VR d'un côté, le LR de l'autre, chacun avec sa propre récompense. La logique s'appuie sur le fonctionnement de GRPO, où les rollouts d'un même groupe sont comparés entre eux. Si, au sein d'une phase, les rollouts ne diffèrent que par une seule compétence, l'advantage relatif au groupe isole précisément celle-ci. L'abstract ne donne pas les formules précises des récompenses.

Pour la phase de perception, les auteurs ont ajouté le Claim-Level Advantage (CLA-GRPO). Les rollouts sont décomposés en affirmations visuelles atomiques, du type « l'image contient trois objets rouges », et l'advantage est calculé séparément pour chaque affirmation. Les groupes sont constitués selon le type visuel de l'affirmation. Au lieu d'un unique scalaire pour tout le texte, le modèle reçoit un signal détaillé sur ce qu'il a vu correctement ou non.

Paramètres clés du travail :

• Méthode : post-entraînement en deux phases (VR, puis LR), avec une récompense propre à chaque phase.
• Nouvel algorithme pour la phase VR : CLA-GRPO, avec un advantage au niveau des affirmations visuelles.
• Gain : +1,4–6,1 points de précision moyenne par rapport à GRPO.
• Modèles : Qwen3-VL (2B–30B-A3B) et InternVL3.5-8B.
• Inférence : un seul appel CoT, avec la même architecture et le même protocole d'évaluation qu'un modèle GRPO.

Diagnostic : la perception ne bouge pas avec GRPO

L'intérêt principal de l'article n'est pas le gain final, mais le diagnostic. Les auteurs ont évalué chaque compétence séparément à l'aide d'une approche oracle. Leur conclusion : GRPO avec une récompense portant uniquement sur la réponse laisse la perception inchangée, tandis que SPLIT-RL améliore à la fois le VR et le LR. Autrement dit, une part notable du « progrès en raisonnement » obtenu avec un RLVR standard tient en réalité au volet linguistique, alors que le volet visuel reste au niveau du modèle de base.

Les limites sont également visibles. Un écart de 4,7 points entre le gain minimal et le gain maximal indique une forte dépendance au modèle, et l'abstract ne permet pas de savoir où l'effet est le plus marqué. L'entraînement se complexifie : il exige deux phases et un mécanisme de découpage des réponses en affirmations visuelles vérifiables. L'abstract n'évalue pas le coût de cette complexité.

Ce qu'il faut en retenir en pratique

Les équipes qui affinent des VLM par RLVR gagneraient à ajouter à leur pipeline une évaluation séparée de la perception et du raisonnement, avant et après l'entraînement. Si la précision sur les benchmarks augmente alors que la perception stagne, le modèle ne fait probablement que mieux déduire sa réponse à partir de la même lecture imprécise de l'image. C'est particulièrement important pour les tâches portant sur des documents, des diagrammes et des tableaux, où une erreur de lecture d'un chiffre ruine toute la logique qui suit.

Les coûts supplémentaires de SPLIT-RL ne concernent que l'entraînement ; le serving reste identique. Avant tout déploiement, il faut attendre les tableaux complets de benchmarks et le code, puis tester la méthode sur ses propres données.