Test de Stroop : les VLM lisent le texte d'une image plus volontiers qu'ils n'en voient la couleur

Un groupe de chercheurs a publié le préprint arXiv 2610.12650, consacré à la manière dont les modèles vision-langage arbitrent entre deux caractéristiques de même rang d'une même image. Ils ont repris le test de Stroop : le mot « RED » est imprimé en bleu, et on demande au sujet d'en nommer la couleur. Le résultat va dans le même sens pour les VLM contrastifs et génératifs : en cas de conflit, les modèles répondent plus souvent d'après le mot écrit que d'après la couleur. Les auteurs ont également vérifié la cause. Dans l'espace d'embeddings, le texte est encodé plus fortement et est plus séparable que la couleur.

Comment fonctionne l'expérience

Un benchmark standard pour VLM demande ce qui figure sur l'image. Ici, la tâche est plus retorse : l'image comporte deux caractéristiques, toutes deux pertinentes pour la question, mais qui pointent dans des directions opposées. Ce sont les stimuli conflictuels de Stroop : le mot désigne une couleur, mais il est écrit dans une autre. Si le modèle suit honnêtement la consigne « nomme la couleur », le mot ne devrait pas influencer sa réponse.

Les auteurs ont transposé ce paradigme dans un format de benchmark et l'ont appliqué à plusieurs modèles issus de deux familles :

• des modèles contrastifs de type CLIP, où l'image et le texte sont mis en correspondance dans un espace commun ;
• des VLM génératifs, qui répondent à la question en texte libre ;
• la condition de conflit : le texte et la couleur ne coïncident pas, et la tâche exige d'indiquer la couleur ;
• la métrique de comportement : la part des réponses fondées sur le texte, comparée à la part des réponses fondées sur la couleur.

L'abstract ne donne aucune valeur chiffrée ; il faudra donc consulter le texte complet de l'étude pour mesurer l'ampleur du biais. La conclusion qualitative est formulée sans ambiguïté : le biais vers le texte est stable d'un modèle à l'autre, c'est-à-dire qu'il ne dépend pas d'une architecture donnée.

D'où vient ce biais

Le plus intéressant commence après la partie comportementale. Les auteurs ont « ouvert la boîte noire » et comparé la façon dont les caractéristiques textuelles et chromatiques sont représentées dans les embeddings. Les signaux textuels se révèlent plus marqués et mieux séparables. La couleur, dans ce même espace, est plus faible et plus diffuse.

Cette asymétrie a une valeur prédictive. Lorsque les chercheurs ont tenté d'orienter le modèle par une intervention dans l'espace des représentations, il était nettement plus facile de le déplacer vers les directions textuelles que vers les directions de couleur. Autrement dit, la différence se voit non seulement dans les réponses, mais aussi dans la docilité du modèle face à l'intervention.

On peut l'expliquer par le fait que les modèles sont entraînés sur d'énormes corpus de paires « image-légende », où les inscriptions présentes sur les images portent souvent du sens. Mais il s'agit d'une hypothèse, pas d'une conclusion de l'article : les auteurs montrent où le biais se loge dans les représentations, sans démontrer de quelles données il provient. Le principal enseignement reste prudent : les différentes caractéristiques d'une même image n'ont pas la même visibilité pour le modèle, ou saliency.

Que vérifier dans votre pipeline

Pour les produits où un VLM lit des documents, des captures d'écran, des emballages, des panneaux routiers ou des interfaces, c'est un risque concret. Si l'image comporte une inscription et que la question porte sur une propriété visuelle de l'objet, le modèle peut répondre d'après l'inscription. Exemple classique : une étiquette indiquant un nom de couleur sur un objet d'une autre couleur.

Les développeurs ont intérêt à faire plusieurs choses :

• ajouter à leur jeu de test des cas conflictuels, où le texte de l'image contredit la caractéristique visuelle ;
• ne pas considérer la consigne « réponds d'après la couleur » comme une garantie, puisque le biais se loge dans les représentations ;
• pour les tâches sensibles, comme le contrôle qualité ou la sécurité, séparer l'OCR et l'analyse visuelle en étapes distinctes ;
• en tenir compte pour évaluer la résistance aux attaques par injection de texte via l'image : d'après les résultats, une inscription sur l'image influence le modèle plus fortement qu'on ne pourrait s'y attendre.

L'étude ne propose pas de remède clé en main et ne prétend pas que le problème disparaîtra avec le passage à l'échelle. En revanche, elle fournit un test de diagnostic simple et reproductible, emprunté à la psychologie cognitive. On peut l'exécuter sur n'importe quel nouveau VLM avant sa mise en production.