Исследователи предложили рамку PAPAV: только 3 из 64 бенчмарков проверяют верификацию

Когда мультимодальный агент переходит от управления браузером к управлению манипулятором, меняется не только среда, но и цена ошибки. Новая работа с Hugging Face Daily Papers пытается описать этот переход единым языком. Авторы вводят понятие мультимодальных воплощённых агентов (MMEA) и предлагают рамку PAPAV из пяти функций. Главный эмпирический вывод: из 64 разобранных бенчмарков только 5 оценивают способность предвидеть последствия действий и всего 3 проверяют, достигнут ли результат. Почти все остальные измеряют, удалось ли выполнить задачу.

Три класса систем и общий знаменатель

Авторы начинают с разделения. Мультимодальные агенты (MMA) держат взаимодействие через рассуждение, память, инструменты и обратную связь. Самый заметный пример — агенты, работающие за компьютером. Роботизированные системы (RS) связывают восприятие и исполнение в условиях физической динамики. MMEA стоят на стыке: это целенаправленные системы, которые соединяют мультимодальное рассуждение о задаче с физическим действием и пересматривают решения по результату.

Центральный вопрос работы звучит просто: что меняется, когда агент переходит от computer-use к robot-use? Чтобы ответить, нужна шкала сравнения, не привязанная к конкретной архитектуре. Авторы выбирают функции, а не устройство модели.

PAPAV: пять функций вместо одной метрики

Аббревиатура раскрывается так:

• Perceive: воспринять текущее состояние;
• Anticipate: предвидеть эффекты действий;
• Plan: построить выполнимый план;
• Act: действовать через интерфейс или тело;
• Verify: проверить исход.

Такое определение позволяет найти то, что у всех трёх классов общее, а затем сравнить MMEA с обычными MMA и с классической робототехникой. Кликающий по кнопкам агент и манипулятор на заводе выполняют все пять функций. Различается то, насколько каждая из них трудна и насколько дорого обходится сбой.

Где физика отнимает свободу

Авторы выделяют пять физических ограничений. Список идёт от частичной наблюдаемости до непроверяемых исходов. Общий эффект один: в физическом мире меньше решений можно зафиксировать заранее, а возможностей отменить ошибку тоже меньше. Неверный клик в интерфейсе чаще всего можно откатить. Уроненный предмет или неверное движение откатить нельзя.

Отсюда вес функций Anticipate и Verify. Агент, который не может заранее оценить последствия и затем честно проверить результат, в физической среде опасен даже при хорошем планировании.

Что показал разбор 64 бенчмарков

Главная цифра работы касается состояния индустрии оценки:

• 64 бенчмарка проанализированы в целом;
• явная оценка сосредоточена на функции Act;
• только 5 бенчмарков оценивают Anticipate;
• только 3 оценивают Verify;
• обе функции в основном скрыты за итоговым показателем успеха задачи.

Проблема в том, что успех задачи смешивает все пять способностей в одну цифру. Модель могла выполнить задачу благодаря удачному восприятию, а не хорошему прогнозу. Или провалить её из-за слабой проверки, хотя план был верным. Без раздельных измерений сложно понять, что именно улучшилось между версиями системы и что нужно чинить.

На этих же ограничениях авторы строят список открытых проблем. Среди них проектирование надёжных физических агентов и измерение прогресса по всем пяти способностям.

Как использовать рамку на практике

Для команд, которые делают агентов для роботов, у работы есть прикладное применение. Рамку PAPAV можно взять как чек-лист аудита: для каждой функции определить, какой тест её измеряет, и найти те, что не покрыты. Если в пайплайне нет отдельной проверки результата после действия, это повод добавить её до масштабирования.

Для разработчиков бенчмарков вывод ещё более конкретный. Нужны задачи, где отдельно оцениваются прогноз последствий и верификация исхода, а не только финальный успех. Для инвесторов и заказчиков это ориентир при чтении демо: красивый показатель выполнения задач ещё не говорит, как система ведёт себя, когда исход нельзя проверить или ошибку нельзя отменить.

Работа не предлагает новую модель и не обещает прирост на конкретном тесте. Это попытка навести порядок в терминах и метриках на стыке агентов и робототехники, пока граница между ними стремительно стирается.