PhysRSI-eval измерил, как VLM-агенты учатся на ошибках в 18 задачах манипуляции

Команда авторов статьи на Hugging Face Daily Papers предложила PhysRSI-eval, набор метрик для оценки физического рекурсивного самоулучшения (RSI) у агентов на базе VLM. Идея проста: дать модели 18 задач манипуляции, ограничить число взаимодействий с миром и смотреть, как агент учится на собственных неудачах. Итоговый вывод неудобен для привычных рейтингов. Две системы с почти одинаковым средним баллом на публичных бенчмарках могут вести себя в физическом цикле совершенно по-разному.

Пять осей вместо одного балла

Обычный бенчмарк отвечает на вопрос «справилась ли модель». PhysRSI-eval спрашивает, как быстро и как далеко агент способен улучшаться. Для этого метрика разложена на пять компонентов:

• First-Attempt Performance: результат с первой попытки, до любой обратной связи;
• Efficiency: насколько экономно агент расходует попытки на пути к успеху;
• Success: итоговая доля решённых задач;
• Budget: сколько взаимодействий с средой понадобилось из фиксированного лимита;
• Improvement from failure: прирост качества после неудачных раундов.

Практический смысл разделения в том, что высокий итоговый Success не обязан сопровождаться ранними или эффективными улучшениями. Агент может прийти к хорошему результату, сожрав весь бюджет, а может выжать приличный результат почти сразу и затем остановиться. Для реального робота, где каждая попытка стоит времени, износа и иногда сломанных предметов, это разные профили риска.

Гипотеза бочки и прогноз по ранним попыткам

По результатам экспериментов авторы формулируют Physical Barrel Hypothesis. Название отсылает к бочке Либиха: уровень воды определяет самая низкая доска. Здесь доски — способности модели, и разные из них ограничивают разные части улучшения. Одна отвечает за качество первой попытки, другая за умение извлечь урок из провала.

Отдельно изучается наблюдательное масштабирование (observational scaling) с двух сторон. Первая задача: предсказать относительную производительность VLM-агентов по их публичным способностям. Вторая: спрогнозировать поздний прогресс по ранней физической обратной связи. Вместе это ответ на вопрос, насколько быстро и насколько далеко агент может улучшиться. В аннотации нет конкретных коэффициентов или параметров зависимостей, поэтому судить о точности прогноза можно будет только по полному тексту работы.

Вторая часть исследования посвящена интервенциям в рабочее пространство агента, то есть в то, что остаётся после раундов улучшения. Результаты три:

• удаление истории снижает успех в поздних раундах, значит накопленный контекст реально работает;
• замороженные рабочие пространства остаются полезными на незнакомых раскладках сцены;
• в трёх кросс-задачных случаях успех достигается раньше.

Авторы делают осторожный вывод: адаптация под конкретную сцену и переиспользуемый опыт могут существовать одновременно. Иначе говоря, накопленное агентом не обязательно «прилипает» к одной раскладке стола.

Что проверять командам на практике

Для тех, кто строит роботов или агентов на VLM, работа даёт несколько рабочих ориентиров. Во-первых, выбирать модель по среднему публичному баллу рискованно: оценивайте её по профилю из пяти осей на своих задачах и с реальным бюджетом попыток. Во-вторых, если дорогие неудачи для вас критичны, смотрите на First-Attempt Performance и Efficiency, а не только на итоговый Success. В-третьих, сохраняйте историю и рабочее пространство между раундами: по данным авторов, без истории поздние результаты хуже, а замороженное пространство помогает на новых раскладках.

Ограничения тоже очевидны. Восемнадцать задач манипуляции дают узкую выборку, а гипотеза бочки пока выглядит наблюдением, не доказанным законом. Но сама постановка полезна: она переводит разговор об агентах с вопроса «насколько умна модель» на вопрос «как она ведёт себя, когда ошибается».