Meta DINOv3 и SAM: University of Pittsburgh строит ассистивного робота RAMMP за $41,5 млн

Le 27 juillet 2026, Meta a annoncé que ses modèles de vision DINOv3, SAM et RF-DETR constituent la base de RAMMP — une plateforme robotique d'assistance destinée aux personnes à mobilité réduite, développée par le laboratoire Human Engineering Research Laboratories (HERL) de la University of Pittsburgh grâce à une subvention ARPA-H allant jusqu'à 41,5 millions de dollars.

Qu'est-ce que RAMMP

RAMMP (Robotic Assistive Mobility and Manipulation Platform) est une plateforme d'assistance dotée d'un bras manipulateur, dirigée par le laboratoire HERL de la University of Pittsburgh avec le partenaire ATDev et un consortium d'universités. Le projet vise ~5,5 millions d'utilisateurs de fauteuils roulants aux États-Unis, pour qui des gestes du quotidien — ouvrir une porte, saisir une tasse, descendre d'un trottoir — restent un obstacle.

• Subvention ARPA-H — jusqu'à 41,5 millions de dollars
• Laboratoire principal — HERL, University of Pittsburgh
• Partenaires : ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modèles Meta : DINOv3, SAM (dont SAM 3.1), RF-DETR
• Aux États-Unis, plus de 100 000 blessures liées aux fauteuils roulants arrivent chaque année aux urgences

Comment les modèles de Meta aident le robot à voir

Les modèles de vision par ordinateur de Meta donnent au robot RAMMP la capacité de reconnaître la scène et les objets qui l'entourent. DINOv3 (un transformer auto-supervisé entraîné sur des données non étiquetées) assure la compréhension générale de l'image, SAM et SAM 3.1 segmentent et mettent en évidence les objets, tandis que le modèle de détection léger RF-DETR, affiné sur les embeddings de DINOv2, est installé directement sur le robot pour une reconnaissance rapide sur place.

« Les modèles de vision par ordinateur de Meta sont une technologie d'importance critique qui permet à la plateforme robotique de "voir".

Ils aident le robot à comprendre la scène, à s'orienter dans l'espace et à saisir les bons objets, réduisant nettement la charge cognitive de l'utilisateur et renforçant son autonomie », — Mansoor Khan, chef de programme à l'ARPA-H.

Pourquoi tout fonctionne sur l'appareil lui-même

RAMMP exécute les modèles directement sur le robot, en calcul edge, et non dans le cloud — cela supprime la dépendance à la connectivité et préserve une réponse en temps réel. L'équipe utilise également un jumeau numérique (un environnement virtuel de simulation), une commande vocale et une vision à 360 degrés. Le premier prototype détecte déjà les boutons de portes automatiques, les tasses et les trottoirs ; le projet est passé à la phase de tests en conditions réelles et travaille sur la saisie vocale et tactile.

«

Exécuter des modèles comme DINOv3 et SAM directement sur l'appareil offre une perception en temps réel à laquelle l'utilisateur peut faire confiance — sans dépendance à la connectivité et sans compromis sur la sécurité », — Sivashankar Sivakanthan, responsable matériel du projet RAMMP.

Ce que cela signifie

Les modèles de vision open source de Meta sortent du cadre de la recherche pour devenir un produit physique : ils deviennent les « yeux » d'un robot d'assistance destiné à redonner leur autonomie à des millions de personnes à mobilité réduite. Comme l'a souligné Alicia Jackson, directrice de l'ARPA-H, la technologie doit s'adapter à la personne, et non l'inverse. RAMMP montre comment un même ensemble de modèles open source peut faire progresser à la fois la robotique et l'accessibilité.

Questions fréquentes

Quels modèles de Meta sont utilisés dans RAMMP ?

La plateforme utilise trois modèles de vision par ordinateur de Meta : DINOv3 pour la compréhension de la scène, SAM et SAM 3.1 pour la segmentation des objets, et RF-DETR — un détecteur léger affiné sur les embeddings de DINOv2 pour fonctionner directement sur le robot.

Quel budget a été alloué au projet ?

Le développement est financé par l'agence ARPA-H avec une subvention allant jusqu'à 41,5 millions de dollars. L'organisation principale est le laboratoire HERL de la University of Pittsburgh, parmi les partenaires figurent ATDev, Kinova Robotics, LUCI Mobility ainsi que les universités Carnegie Mellon, Cornell, Northeastern et Purdue.

À qui RAMMP va-t-il venir en aide ?

La plateforme est conçue pour les personnes à mobilité réduite : rien qu'aux États-Unis, environ 5,5 millions de personnes utilisent un fauteuil roulant, et plus de 100 000 blessures liées aux fauteuils roulants arrivent chaque année aux urgences.

*Meta est reconnue comme organisation extrémiste et est interdite en Fédération de Russie.