Teste de Stroop mostra: VLMs leem o texto na imagem com mais facilidade do que enxergam a cor

Um grupo de pesquisadores publicou o preprint arXiv 2610.12650, que investiga como os modelos vision-language escolhem entre dois atributos de peso igual na mesma imagem. Eles recorreram ao teste de Stroop, em que a palavra “RED” é impressa em azul e a pessoa testada deve dizer a cor. O resultado apontou na mesma direção para VLMs contrastivos e generativos: diante do conflito, os modelos respondem com mais frequência pela palavra escrita do que pela cor. Os autores também investigaram a causa. No espaço de embeddings, o texto é codificado com mais força e é mais separável do que a cor.

Como funciona o experimento

Os benchmarks padrão para VLMs perguntam o que aparece na imagem. Aqui a tarefa é mais sutil: a imagem tem dois atributos, ambos relevantes para a pergunta, mas que apontam em sentidos opostos. São os estímulos conflitantes de Stroop: a palavra designa uma cor, mas está escrita em outra. Se o modelo segue fielmente a instrução “diga a cor”, a palavra não deveria influenciar a resposta.

Os autores transpuseram o paradigma para o formato de benchmark e o aplicaram a vários modelos de duas famílias:

• modelos contrastivos no estilo do CLIP, que alinham imagem e texto em um espaço compartilhado;
• VLMs generativos, que respondem à pergunta em texto livre;
• condição de conflito: texto e cor não coincidem, e a tarefa exige informar a cor;
• métrica de comportamento: proporção de respostas baseadas no texto contra proporção de respostas baseadas na cor.

O resumo do preprint não traz valores numéricos, então a dimensão do viés só pode ser conferida no texto completo do trabalho. A conclusão qualitativa, porém, é inequívoca: o viés em direção ao texto é consistente entre modelos, ou seja, não depende de uma arquitetura específica.

De onde vem o viés

A parte mais interessante vem depois da análise comportamental. Os autores “abriram a caixa-preta” e compararam como os atributos de texto e de cor são representados nos embeddings. Os sinais textuais se mostraram mais intensos e mais fáceis de separar. A cor, no mesmo espaço, é mais fraca e difusa.

Essa assimetria funciona como um preditor. Quando os pesquisadores tentaram direcionar o modelo por meio de uma intervenção no espaço de representações, foi bem mais fácil empurrá-lo para as direções textuais do que para as de cor. Ou seja, a diferença aparece não só nas respostas, mas também no quanto o modelo é suscetível à intervenção.

Uma explicação possível é que os modelos são treinados em enormes volumes de pares “imagem-legenda”, nos quais os textos presentes nas imagens costumam carregar significado. Mas isso é uma hipótese, e não uma conclusão do artigo: os autores mostram onde o viés se manifesta nas representações, sem provar a partir de quais dados ele se formou. A conclusão principal é cautelosa: atributos diferentes dentro de uma mesma imagem têm, para o modelo, níveis distintos de destaque, ou saliency.

O que verificar no seu pipeline

Para produtos em que o VLM lê documentos, screenshots, embalagens, placas de trânsito ou interfaces, trata-se de um risco prático. Se a imagem contém um texto e a pergunta é sobre uma propriedade visual do objeto, o modelo pode responder pelo texto. Um exemplo clássico: uma etiqueta com o nome de uma cor colada em um objeto de outra cor.

Vale a pena os desenvolvedores fazerem algumas coisas:

• incluir no conjunto de testes casos conflitantes, em que o texto na imagem contradiz o atributo visual;
• não tratar a instrução de prompt “responda pela cor” como garantia, já que o viés está nas representações;
• em tarefas sensíveis, como controle de qualidade ou segurança, separar OCR e análise visual em etapas distintas;
• levar isso em conta ao avaliar a resistência a ataques de injeção de texto por meio de imagens: pelos resultados, o texto na imagem influencia o modelo mais do que se poderia esperar.

O estudo não oferece uma cura pronta e não afirma que o problema desaparece com o aumento de escala. Em compensação, entrega um teste diagnóstico simples e reproduzível, emprestado da psicologia cognitiva. Ele pode ser executado em qualquer VLM novo antes de ele chegar à produção.