Meta DINOv3 и SAM: University of Pittsburgh строит ассистивного робота RAMMP за $41,5 млн

Meta 27 июля 2026 года рассказала, что её vision-модели DINOv3, SAM и RF-DETR легли в основу RAMMP — ассистивной робоплатформы для людей с ограниченной подвижностью, которую разрабатывает лаборатория Human Engineering Research Laboratories (HERL) при University of Pittsburgh на грант ARPA-H до $41,5 млн.

Что такое RAMMP

RAMMP (Robotic Assistive Mobility and Manipulation Platform) — это ассистивная платформа с манипуляционной рукой, которую ведёт лаборатория HERL при University of Pittsburgh вместе с партнёром ATDev и консорциумом университетов. Проект нацелен на ~5,5 млн пользователей инвалидных колясок в США, для которых бытовые действия — открыть дверь, взять чашку, съехать с бордюра — остаются барьером.

• Грант ARPA-H — до $41,5 млн
• Ведущая лаборатория — HERL, University of Pittsburgh
• Партнёры: ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Модели Meta: DINOv3, SAM (включая SAM 3.1), RF-DETR
• В США ежегодно >100 000 травм, связанных с колясками, попадают в приёмные отделения

Как модели Meta помогают роботу видеть

Модели компьютерного зрения Meta дают роботу RAMMP способность распознавать сцену и объекты вокруг. DINOv3 (self-supervised трансформер, обучающийся на неразмеченных данных) отвечает за общее понимание изображения, SAM и SAM 3.1 сегментируют и выделяют объекты, а лёгкая детекционная модель RF-DETR дообучена на эмбеддингах DINOv2 — её ставят прямо на робота для быстрого распознавания на месте.

«Модели компьютерного зрения Meta — критически важная технология, которая позволяет роботизированной платформе "видеть".

Они помогают роботу понять сцену, ориентироваться в пространстве и брать нужные предметы, заметно снижая когнитивную нагрузку на пользователя и повышая его самостоятельность», — Мансур Хан, программный менеджер ARPA-H.

Почему всё работает на устройстве

RAMMP запускает модели прямо на роботе, на edge-вычислениях, а не в облаке — это снимает зависимость от связи и сохраняет реакцию в реальном времени. Команда использует также цифрового двойника (виртуальную среду для симуляции), голосовое управление и обзор на 360 градусов. Первый прототип уже детектирует кнопки автоматических дверей, чашки и бордюры; проект перешёл в фазу тестов в реальных условиях и работает над голосовым и сенсорным вводом.

«Запуск моделей вроде DINOv3 и SAM прямо на устройстве даёт восприятие в реальном времени, которому пользователь может доверять, — без зависимости от связи и без компромиссов по безопасности», —

Сивашанкар Сивакантан, руководитель аппарата проекта RAMMP.

Что это значит

Открытые vision-модели Meta выходят за пределы исследований в физический продукт: они становятся «глазами» ассистивного робота, который должен вернуть самостоятельность миллионам людей с ограниченной подвижностью. Как подчеркнула директор ARPA-H Алисия Джексон, технология должна подстраиваться под человека, а не заставлять человека подстраиваться под неё. RAMMP показывает, как один набор open-source моделей одновременно двигает и робототехнику, и доступность.

Частые вопросы

Какие модели Meta используются в RAMMP?

Платформа задействует три модели компьютерного зрения Meta: DINOv3 для понимания сцены, SAM и SAM 3.1 для сегментации объектов и RF-DETR — лёгкий детектор, дообученный на эмбеддингах DINOv2 для работы прямо на роботе.

Сколько выделено на проект?

Разработку финансирует агентство ARPA-H грантом до $41,5 млн. Ведущая организация — лаборатория HERL при University of Pittsburgh, среди партнёров ATDev, Kinova Robotics, LUCI Mobility и университеты Carnegie Mellon, Cornell, Northeastern и Purdue.

Кому поможет RAMMP?

Платформа рассчитана на людей с ограниченной подвижностью: только в США около 5,5 млн пользователей инвалидных колясок, и ежегодно свыше 100 000 связанных с колясками травм попадают в приёмные отделения.

*Meta признана экстремистской организацией и запрещена в РФ.