Meta DINOv3 et SAM : l'University of Pittsburgh construit RAMMP, un robot d'assistance financé à hauteur de 41,5 M$

Le 27 juillet 2026, Meta a indiqué que ses modèles de vision DINOv3, SAM et RF-DETR forment la base de RAMMP, une plateforme robotique d'assistance destinée aux personnes à mobilité réduite. Elle est développée par le laboratoire Human Engineering Research Laboratories (HERL) de l'University of Pittsburgh, grâce à une subvention de l'ARPA-H pouvant atteindre 41,5 M$.

Qu'est-ce que RAMMP ?

RAMMP (Robotic Assistive Mobility and Manipulation Platform) est une plateforme d'assistance dotée d'un bras de manipulation. Le laboratoire HERL de l'University of Pittsburgh la pilote avec son partenaire ATDev et un consortium d'universités. Le projet cible environ 5,5 millions d'utilisateurs de fauteuils roulants aux États-Unis, pour qui les gestes du quotidien (ouvrir une porte, saisir une tasse, descendre un trottoir) restent un obstacle.

• Subvention ARPA-H : jusqu'à 41,5 M$
• Laboratoire pilote : HERL, University of Pittsburgh
• Partenaires : ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modèles Meta : DINOv3, SAM (dont SAM 3.1), RF-DETR
• Aux États-Unis, plus de 100 000 blessures liées aux fauteuils roulants sont traitées chaque année dans les services d'urgence

Comment les modèles de Meta aident le robot à voir

Les modèles de vision par ordinateur de Meta donnent à RAMMP la capacité de reconnaître la scène et les objets qui l'entourent. DINOv3, un transformeur auto-supervisé entraîné sur des données non annotées, assure la compréhension globale de l'image. SAM et SAM 3.1 segmentent et isolent les objets. Quant à RF-DETR, un modèle de détection léger affiné sur les embeddings de DINOv2, il est embarqué directement sur le robot pour une reconnaissance rapide sur place.

« Les modèles de vision par ordinateur de Meta sont une technologie essentielle qui permet à la plateforme robotique de "voir".

Ils aident le robot à comprendre la scène, à s'orienter dans l'espace et à saisir les bons objets, ce qui réduit nettement la charge cognitive de l'utilisateur et renforce son autonomie », — Mansur Khan, responsable de programme à l'ARPA-H.

Pourquoi tout tourne en local

RAMMP exécute les modèles directement sur le robot, en edge computing plutôt que dans le cloud. Cette approche supprime la dépendance à la connexion et préserve la réactivité en temps réel. L'équipe s'appuie aussi sur un jumeau numérique (un environnement virtuel de simulation), une commande vocale et une vue à 360 degrés. Le premier prototype détecte déjà les boutons de portes automatiques, les tasses et les bordures de trottoir. Le projet est entré dans la phase de tests en conditions réelles et travaille sur la commande vocale et tactile.

«

Exécuter des modèles comme DINOv3 et SAM directement sur l'appareil offre une perception en temps réel à laquelle l'utilisateur peut se fier, sans dépendre de la connexion et sans compromis sur la sécurité », — Sivashankar Sivakanthan, directeur de cabinet du projet RAMMP.

Ce que cela signifie

Les modèles de vision ouverts de Meta sortent du cadre de la recherche pour entrer dans un produit physique. Ils deviennent les « yeux » d'un robot d'assistance censé redonner de l'autonomie à des millions de personnes à mobilité réduite. Comme l'a souligné Alicia Jackson, directrice de l'ARPA-H, la technologie doit s'adapter à l'humain, et non l'inverse. RAMMP montre comment un même ensemble de modèles open source fait avancer à la fois la robotique et l'accessibilité.

Questions fréquentes

Quels modèles de Meta RAMMP utilise-t-il ?

La plateforme s'appuie sur trois modèles de vision par ordinateur de Meta : DINOv3 pour la compréhension de la scène, SAM et SAM 3.1 pour la segmentation des objets, et RF-DETR, un détecteur léger affiné sur les embeddings de DINOv2 pour fonctionner directement sur le robot.

Quel budget est alloué au projet ?

L'agence ARPA-H finance le développement par une subvention pouvant atteindre 41,5 M$. Le laboratoire HERL de l'University of Pittsburgh pilote le projet. Parmi les partenaires figurent ATDev, Kinova Robotics, LUCI Mobility et les universités Carnegie Mellon, Cornell, Northeastern et Purdue.

À qui RAMMP s'adresse-t-il ?

La plateforme vise les personnes à mobilité réduite : rien qu'aux États-Unis, on compte environ 5,5 millions d'utilisateurs de fauteuils roulants, et plus de 100 000 blessures liées aux fauteuils sont traitées chaque année dans les services d'urgence.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.