MisVisAgentBench: обманчивые графики роняют успех веб-агентов на 34 п.п.

Исследователи представили на arXiv бенчмарк MisVisAgentBench — первый парный исполняемый тест, который измеряет, как вводящие в заблуждение визуализации влияют на поведение веб-агентов. В набор вошли 280 экземпляров задач, организованных в пары «честный график — искажённый график». На тринадцати vision-language агентах подмена честного графика на обманчивый снизила среднюю долю успешно выполненных задач более чем на 34 процентных пункта.

Веб-агенты всё чаще сами открывают страницы, читают дашборды и совершают действия от имени пользователя. График для такого агента не конечный ответ, а промежуточное свидетельство, на котором строится следующий шаг: что выбрать, что подтвердить, куда кликнуть. Если график искажает картину, ошибка чтения превращается в конкретное действие. Авторы подчёркивают, что эта область надёжности почти не изучена.

Чем это отличается от chart QA

Классические тесты на вопросы по графикам заканчиваются на ответе модели. Здесь ответ только запускает цепочку исполнения. Кроме того, речь не о prompt injection: в искажённых графиках нет вредоносных инструкций. Они просто подают данные так, что суждение смещается само: через выбор масштаба, формы или акцентов.

Ключевая особенность конструкции в том, что в каждой паре отличается только графическое свидетельство. Остальная задача остаётся прежней. Это позволяет приписывать падение качества именно визуальному обману, а не сложности задачи. Для этого авторы добавили диагностическую рамку, которая отделяет сбои, вызванные искажением, от базовой трудности задачи (со ссылкой на Zhu et al., 2025).

Параметры работы:

• 280 экземпляров задач в парах «честный — искажённый график»;
• 13 vision-language веб-агентов в оценке;
• падение средней доли успеха более чем на 34 п.п. при замене графика;
• метрики исполнения: лишние шаги просмотра и «колебание» при принятии решения;
• бенчмарк исполняемый: агент действует, а не только отвечает на вопросы.

Ошибки идут по одной колее

Самое интересное наблюдение не в величине падения, а в его структуре. Провалы в основном следуют по целевой ложной ветке действий, на которую рассчитан искажённый график. Агенты не разваливаются хаотично, их решения систематически уводят в заранее заданную сторону.

Для безопасности это важнее среднего процента. Случайный шум можно частично погасить повторными запусками или голосованием нескольких агентов. Направленное смещение так не лечится: все запуски придут к одному неверному выводу. Тот, кто контролирует оформление данных на странице, потенциально управляет и действиями агента, не написав ни одной команды.

Ограничения тоже есть. Это препринт, и по аннотации не видно, какие типы искажений вошли в набор, как различаются модели и насколько хорошо результаты переносятся на реальные страницы. Цифра 34 п.п. усреднена по тринадцати агентам, поэтому у отдельных систем разрыв может быть заметно меньше или больше.

Что делать командам, которые строят агентов

Первое: добавлять парные тесты в регрессию. Если агент принимает решения на основе графиков, нужны задачи, где данные те же, а оформление разное. Падение между «честной» и «искажённой» версиями становится отдельной метрикой.

Второе: не давать графику быть единственным основанием для действия. Там, где доступны исходная таблица, API или текстовая сводка, агент должен сверять с ними вывод, прочитанный с картинки.

Третье: для необратимых шагов вроде платежей, публикаций или изменений в конфигурации сохранять подтверждение человеком. Расчёт на самопроверку модели рискован, раз ошибки направленные.

Четвёртое: логировать число шагов просмотра и признаки колебаний. Авторы фиксируют их как эффекты исполнения, и такие сигналы можно использовать как индикатор того, что агент столкнулся со странным визуальным свидетельством.