Тест Струпа показал: VLM читают текст на картинке охотнее, чем видят цвет

Группа исследователей опубликовала препринт arXiv 2610.12650 о том, как vision-language модели выбирают между двумя равноправными признаками одного изображения. Они взяли тест Струпа, где слово «RED» напечатано синим, а испытуемого просят назвать цвет. Результат совпал по направлению у контрастных и генеративных VLM: при конфликте модели чаще отвечают по написанному слову, а не по цвету. Авторы проверили и причину. В пространстве эмбеддингов текст кодируется сильнее и отделимее цвета.

Как устроен эксперимент

Стандартный бенчмарк для VLM спрашивает о том, что на картинке. Здесь задача хитрее: на изображении два признака, и оба релевантны вопросу, но указывают в разные стороны. Это конфликтные стимулы Струпа: слово обозначает один цвет, а набрано другим. Если модель честно следует инструкции «назови цвет», слово не должно влиять на ответ.

Авторы перенесли парадигму в формат бенчмарка и прогнали через него несколько моделей двух семейств:

• контрастные модели в духе CLIP, где изображение и текст сопоставляются в общем пространстве;
• генеративные VLM, которые отвечают на вопрос свободным текстом;
• условие конфликта: текст и цвет не совпадают, задача требует сообщить цвет;
• метрика поведения: доля ответов, опирающихся на текст, против доли ответов по цвету.

Числовых значений в аннотации нет, поэтому масштаб перекоса придётся смотреть в полном тексте работы. Качественный вывод сформулирован однозначно: смещение к тексту устойчиво across models, то есть не зависит от конкретной архитектуры.

Откуда берётся перекос

Самое интересное начинается после поведенческой части. Авторы «открыли чёрный ящик» и сравнили, как в эмбеддингах представлены текстовые и цветовые признаки. Текстовые сигналы оказались выражены сильнее и лучше разделимы. Цвет в том же пространстве слабее и размытее.

Эта асимметрия работает как предсказатель. Когда исследователи пытались направить модель с помощью интервенции в пространстве представлений, к текстовым направлениям её сдвигать было существенно легче, чем к цветовым. То есть разница видна не только в ответах, но и в том, насколько податлива модель на вмешательство.

Объяснять это можно тем, что модели обучены на огромных массивах пар «картинка-подпись», где надписи на изображениях часто несут смысл. Но это гипотеза, а не вывод статьи: авторы показывают, где перекос живёт в представлениях, а не доказывают, из каких данных он выращен. Главный итог звучит осторожно: разные признаки внутри одной картинки имеют для модели разную заметность, или saliency.

Что проверить в своём пайплайне

Для продуктов, где VLM читает документы, скриншоты, упаковку, дорожные знаки или интерфейсы, это практический риск. Если на изображении есть надпись, а вопрос касается визуального свойства объекта, модель может отвечать по надписи. Классический пример: этикетка с названием цвета на предмете другого цвета.

Разработчикам стоит сделать несколько вещей:

• добавить в тестовый набор конфликтные случаи, где текст на картинке противоречит визуальному признаку;
• не считать формулировку промпта «ответь по цвету» гарантией, поскольку перекос сидит в представлениях;
• для чувствительных задач, например контроля качества или безопасности, разделять OCR и визуальный анализ на отдельные шаги;
• учитывать это при оценке устойчивости к атаке текстовой инъекцией через изображение: надпись на картинке, судя по результатам, влияет на модель сильнее, чем можно ожидать.

Исследование не предлагает готового лекарства и не заявляет, что проблема исчезнет с масштабированием. Зато даёт простой и воспроизводимый диагностический тест, заимствованный из когнитивной психологии. Его можно запускать на любой новой VLM до того, как она попадёт в продакшен.