Обзор на 200 работ систематизирует обучение аффордансам в воплощённом ИИ

Исследователи собрали в одном обзоре почти 200 работ по обучению аффордансам в воплощённом интеллекте. Об этом сообщает Jiqizhixin. Тема лежит в зазоре между фразой «модель видит чашку» и действием «манипулятор берёт её за ручку». Аффорданс отвечает на три вопроса: что в сцене можно трогать, в каком месте это делать и каким способом.

Зазор между пониманием сцены и действием

Последние годы дали роботике сразу несколько сильных инструментов: визуально-языковые модели действий (VLA), мировые модели, мультимодальные фундаментальные модели и заявки на универсальных роботов. Машины уже разбирают сложные инструкции и генерируют непрерывные траектории в растущем числе задач.

Но распознавание объекта не говорит, за какую часть его брать. Ручка кастрюли и её крышка относятся к одному классу «кастрюля», а действия с ними разные. У ножа есть безопасная сторона и режущая. Авторы обзора, судя по вводной части, видят в этом ключевую нерешённую проблему: роботу нужно не только знать, что перед ним, но и понимать, что можно операционно использовать, где приложить усилие и как.

Что такое аффорданс на практике

Термин ввёл психолог Джеймс Гибсон в 1979 году: аффорданс — это возможность действия, которую среда предлагает конкретному агенту. В робототехнике его превращают в представление, которое можно обучить и подать в планировщик или политику.

Ниже типичные формы такого представления в области. Это общая картина по направлению, а не пересказ таксономии обзора: её в доступном фрагменте нет.

• Объектный уровень: какие предметы пригодны для действия (чайник — наливать, дверь — открывать).
• Пространственный уровень: точка, маска или тепловая карта на изображении, трёхмерная область на облаке точек.
• Уровень взаимодействия: позы захвата, направление усилия, траектория движения.
• Семантический уровень: связь языковой команды с частью объекта («открыть ящик» ведёт к ручке).
• Источники обучения: ручная разметка, видео действий людей, симуляция, подсказки от VLM и LLM.
• Масштаб обзора: около 200 работ.

Почему тема вышла на первый план

Аффордансы появились в роботике задолго до нынешнего бума. В SayCan (2022) языковая модель предлагала шаги, а оценки применимости навыков отсеивали то, что робот не может выполнить в текущей обстановке. Сквозные VLA-модели вроде RT-2, OpenVLA и π0 идут другим путём: они сразу учатся выдавать действия по изображению и тексту.

У явного аффорданса как промежуточного слоя есть понятные аргументы. Его можно визуализировать и проверить. Он, как считают многие в области, помогает переносить навыки между разными объектами и конструкциями роботов. И он даёт точку, к которой можно привязать геометрию и физику. Хватает ли этого против сквозного обучения на больших объёмах демонстраций, вопрос открытый. Хороший обзор нужен именно для того, чтобы увидеть, где подходы сходятся и где конкурируют.

Как использовать обзор

В доступном фрагменте есть только постановка проблемы, поэтому о классификации, бенчмарках и выводах авторов судить рано. Читать нужно оригинал.

Командам, которые строят манипуляционные системы, стоит проверить три вещи:

• Какое представление аффорданса подходит вашей задаче: точка и маска для настольной манипуляции или поза и траектория для тонких операций.
• Как измеряется качество. Точность локализации области и реальный успех действия на роботе дают разные картины, и по одной метрике выбирать опасно.
• Откуда берутся данные. Видео людей дёшево масштабируется, но переносимость на конкретную руку робота и разрыв между симуляцией и реальностью придётся проверять отдельно.

Для тех, кто только входит в тему, такой обзор экономит недели поиска: он показывает, какие задачи уже закрыты, а где у воплощённого ИИ остаются пробелы между восприятием и действием.