ROMA учит роботов трогать, трясти и сжимать предметы, чтобы их понять

Человек, получив незнакомую коробку, редко ограничивается взглядом. Он берёт её в руки, чтобы прикинуть вес, встряхивает, чтобы услышать, гремит ли что-то внутри, и слегка сжимает, чтобы понять, мягкая она или жёсткая. Три простых действия дают три разных физических параметра. Именно на этом наблюдении построена работа ROMA, о которой 10 октября 2026 года написало китайское издание Jiqizhixin: робот должен не пассивно принимать сигналы от камеры, а сам замечать, что знает об объекте слишком мало, и добирать недостающее через взаимодействие.

В нашем распоряжении только вводная часть материала, поэтому ниже разобрано то, что в ней сказано, и то, что остаётся неизвестным.

Что заявлено в ROMA

Исходный тезис сформулирован чётко: восприятие мира у человека не сводится к приёму готовых сенсорных данных. Когда мы понимаем, что информации не хватает, мы действуем, а полученный отклик достраивает картину. ROMA переносит эту логику на робота. Система должна исследовать объект через физический контакт, а не ограничиваться тем, что видно на изображении.

Принципиально здесь не само движение руки, а условие его запуска. Робот сначала оценивает, чего ему не хватает, и только потом выбирает действие, которое закроет пробел. Такая постановка сразу отсекает сценарий «трогать всё подряд».

Почему одного зрения мало

Масса, жёсткость, трение, наличие содержимого плохо видны на кадре. Две одинаковые на вид коробки могут весить 100 граммов и 2 килограмма. Современные визуально-языковые модели хорошо описывают сцену, но физические свойства объекта по картинке они оценивают приблизительно. Для робота, который должен захватить предмет и не раздавить его, не уронить и не перевернуть содержимое, такой неточности часто недостаточно.

Идея интерактивного восприятия в робототехнике не нова: исследователи занимаются ею десятилетиями, а тактильные датчики вроде GelSight давно используются для оценки формы и текстуры. Вопрос в том, кто управляет исследованием. В ранних работах последовательность действий нередко задавалась заранее. ROMA, судя по описанию, делает выбор действия частью самого рассуждения агента.

Что известно из доступного фрагмента

• Источник: Jiqizhixin (机器之心), публикация от 10 октября 2026 года.
• Название подхода: ROMA, задача — интерактивное исследование объектов роботом.
• Человеческие аналоги в материале: взвешивание, встряхивание, сжатие.
• Логика: взаимодействие запускается, когда система обнаруживает нехватку информации.
• Метрики, список тестовых объектов, тип манипулятора и датчиков в доступном тексте не раскрыты.

Чего не хватает для оценки

Без данных об экспериментах судить о реальной силе подхода рано. Неизвестно, на каком оборудовании проверялась система, с какими объектами она работала, насколько вырос процент успешных захватов или точность оценки массы по сравнению с базовыми методами. Неясно и то, как ROMA соотносится с большими мультимодальными моделями: обучается ли она с нуля, использует ли языковую модель как «планировщик» или дообучается на траекториях взаимодействия.

На что смотреть разработчикам

Когда выйдет полная статья или репозиторий, стоит проверить четыре вещи. Первая: как формализована «нехватка информации» — через неопределённость модели, через отдельный классификатор или через языковое рассуждение. Вторая: сколько физических попыток тратится на один объект, потому что каждое лишнее встряхивание — это время цикла и износ механики. Третья: переносится ли политика на другие манипуляторы и сенсоры. Четвёртая: есть ли сравнение с простой схемой «всегда сначала поднять и взвесить»: если она работает почти так же хорошо, ценность выбора действий придётся доказывать отдельно.

Для команд, которые строят складских и бытовых роботов, ROMA пока ориентир по направлению, а не готовый инструмент. Направление при этом понятное: физическое понимание объектов постепенно перемещается из камеры в руку.