El test de Stroop revela que los VLM leen el texto de una imagen con más facilidad que ven el color

Un grupo de investigadores ha publicado el preprint arXiv 2610.12650 sobre cómo eligen los modelos vision-language entre dos características de igual rango en una misma imagen. Tomaron el test de Stroop, en el que la palabra «RED» está impresa en azul y al sujeto se le pide nombrar el color. El resultado coincidió en dirección en los VLM contrastivos y en los generativos: ante un conflicto, los modelos responden con más frecuencia según la palabra escrita que según el color. Los autores también examinaron la causa. En el espacio de embeddings, el texto se codifica con más fuerza y es más separable que el color.

Cómo funciona el experimento

Un benchmark estándar para VLM pregunta qué hay en la imagen. Aquí la tarea es más sutil: la imagen contiene dos características, ambas relevantes para la pregunta, pero que apuntan en direcciones distintas. Son los estímulos de conflicto de Stroop: la palabra designa un color, pero está escrita en otro. Si el modelo sigue de verdad la instrucción «nombra el color», la palabra no debería influir en la respuesta.

Los autores trasladaron el paradigma al formato de benchmark y evaluaron con él varios modelos de dos familias:

• modelos contrastivos al estilo de CLIP, en los que imagen y texto se alinean en un espacio común;
• VLM generativos, que responden a la pregunta con texto libre;
• condición de conflicto: el texto y el color no coinciden y la tarea exige indicar el color;
• métrica de comportamiento: proporción de respuestas basadas en el texto frente a la proporción de respuestas según el color.

El resumen no incluye valores numéricos, así que la magnitud del sesgo habrá que consultarla en el texto completo del trabajo. La conclusión cualitativa es inequívoca: el sesgo hacia el texto es consistente entre modelos, es decir, no depende de una arquitectura concreta.

De dónde viene el sesgo

Lo más interesante empieza después de la parte conductual. Los autores «abrieron la caja negra» y compararon cómo se representan en los embeddings las características textuales y las de color. Las señales textuales resultaron más marcadas y más fáciles de separar. El color, en ese mismo espacio, es más débil y difuso.

Esta asimetría funciona como predictor. Cuando los investigadores intentaron orientar el modelo mediante una intervención en el espacio de representaciones, desplazarlo hacia las direcciones textuales fue bastante más fácil que hacerlo hacia las de color. Es decir, la diferencia no solo se aprecia en las respuestas, sino también en lo receptivo que es el modelo a la intervención.

Puede explicarse porque los modelos se entrenan con enormes volúmenes de pares «imagen-pie de foto», en los que los textos de las imágenes suelen aportar significado. Pero eso es una hipótesis, no una conclusión del artículo: los autores muestran dónde reside el sesgo en las representaciones, pero no demuestran a partir de qué datos se ha formado. La conclusión principal es cauta: las distintas características dentro de una misma imagen tienen para el modelo una notoriedad distinta, o saliency.

Qué comprobar en tu pipeline

Para los productos en los que un VLM lee documentos, capturas de pantalla, envases, señales de tráfico o interfaces, esto supone un riesgo práctico. Si la imagen contiene un texto y la pregunta se refiere a una propiedad visual del objeto, el modelo puede responder según lo escrito. El ejemplo clásico: una etiqueta con el nombre de un color sobre un objeto de otro color.

Los desarrolladores deberían hacer varias cosas:

• añadir al conjunto de pruebas casos de conflicto en los que el texto de la imagen contradiga la característica visual;
• no dar por garantizada la formulación de prompt «responde según el color», ya que el sesgo está en las representaciones;
• en tareas sensibles, como el control de calidad o la seguridad, separar el OCR y el análisis visual en pasos distintos;
• tener esto en cuenta al evaluar la resistencia a ataques de inyección de texto a través de la imagen: a juzgar por los resultados, el texto de una imagen influye en el modelo más de lo que cabría esperar.

El estudio no ofrece una cura lista para usar ni afirma que el problema vaya a desaparecer con el escalado. En cambio, aporta una prueba de diagnóstico sencilla y reproducible, tomada de la psicología cognitiva. Puede ejecutarse en cualquier VLM nuevo antes de que llegue a producción.