AgentVQA проверил 22 VLM на агентных задачах: лучшая набрала лишь 58,5%

Лучшая из 22 протестированных vision-language моделей набрала на новом бенчмарке AgentVQA всего 58,5% точности. Это офлайн-набор из 1000 вручную отобранных сложных примеров, собранных из 23 исходных датасетов. Он охватывает пять областей, где VLM работают как агенты: веб-агенты, робототехнику, видео от первого лица, игры и пространственное планирование. Авторы утверждают, что рейтинг моделей на AgentVQA повторяет рейтинг в соответствующих онлайн-оценках. Значит, быстрый и дешёвый тест может заменить часть дорогих прогонов в симуляторах.

Почему онлайн-оценки агентов упираются в стоимость

VLM умеют многое: описывают картинки, читают интерфейсы, отвечают на вопросы по видео. Но как они ведут себя внутри агентного цикла, где нужно смотреть на экран или сцену, выбирать действие и видеть последствия, понятно куда хуже. Прямой способ проверки — онлайн-оценка в симуляторе или реальной среде. Она необходима, но дорога, медленно масштабируется, и результаты сложно сравнивать между командами.

Офлайн-бенчмарки по вопросам и ответам (VQA) могли бы закрыть этот разрыв. Авторы AgentVQA говорят, что существующие наборы фрагментированы и ограничены: каждый покрывает свой узкий домен, общей шкалы для агентных сценариев нет. AgentVQA пытается собрать такую шкалу в одном наборе.

Как собирали тысячу «трудных» примеров

Команда не парсила данные автоматически, а выбирала примеры вручную из 23 источников. Критерий — реалистичные, действительно сложные сцены из интерактивных сред. Затем примеры адаптировали, чтобы их можно было надёжно оценивать без запуска среды. Реальная ситуация из интерактивной задачи превращается в вопрос с проверяемым ответом, а исходный контекст сохраняется.

Главный довод в пользу такой методики — корреляция с онлайн-результатами. Если модель A обходит модель B в симуляторе, она, как правило, обходит её и на AgentVQA. Для лабораторий это означает быстрый индикатор прогресса. Для заказчиков — способ сравнить модели до дорогостоящей интеграции.

Ключевые параметры бенчмарка:

• 1000 вручную отобранных примеров;
• 23 исходных датасета;
• пять доменов: веб-агенты, робототехника, видео от первого лица, игры, пространственное планирование;
• 22 оценённые модели;
• лучший результат — 58,5% точности;
• рейтинг моделей согласуется с онлайн-оценками.

Где ломаются модели: восприятие, а не логика

Самая интересная часть работы — междоменный анализ ошибок. Авторы разбирали, почему модели промахиваются, и пришли к выводу, что причина не в неверном понимании задачи и не в слабой логике на следующем шаге. Главная проблема в том, чтобы привязать вопрос к картинке и удерживать точное представление о текущем и меняющемся визуальном состоянии.

Конкретно это четыре типа провалов:

• поиск нужных элементов интерфейса на экране;
• интерпретация движения;
• отслеживание изменений состояния во времени;
• вывод трёхмерных пространственных отношений.

Все четыре встречаются в разных доменах. Веб-агенту надо найти кнопку, роботу — понять, куда сместился объект, игровому агенту — не потерять, что изменилось между кадрами, а планировщику — оценить взаимное расположение предметов в 3D. Корень у этих задач общий: восприятие остаётся узким местом.

Что делать командам, которые строят агентов

Первый практический вывод: наращивать рассуждающие способности модели недостаточно, если на входе она неверно видит сцену. Улучшать стоит именно визуальную привязку: обучение на данных с точной локализацией элементов, видео с динамикой, последовательностями состояний и пространственной разметкой.

Второй вывод касается процесса разработки. AgentVQA можно использовать как быстрый предварительный фильтр: прогнать кандидатов офлайн, оставить лучших и только их отправлять в дорогие онлайн-среды. Корреляция с онлайн-рейтингами делает такой подход осмысленным, хотя финальную проверку в реальной среде он не отменяет.

Третий вывод — для тех, кто выбирает модель под продукт. Результат 58,5% у лидера среди 22 моделей говорит, что на сложных агентных сценариях современные VLM далеки от надёжности. Если агент должен кликать по интерфейсам, управлять роботом или планировать в пространстве, ему понадобятся проверки восприятия, откаты и участие человека в критичных шагах. Разбивка ошибок по типам при этом подсказывает, куда направлять инженерные усилия в первую очередь.