Meta DINOv3 y SAM: la University of Pittsburgh desarrolla el robot asistencial RAMMP con $41,5 millones

Meta explicó el 27 de julio de 2026 que sus modelos de visión DINOv3, SAM y RF-DETR son la base de RAMMP, una plataforma robótica asistencial para personas con movilidad reducida. La desarrolla el laboratorio Human Engineering Research Laboratories (HERL) de la University of Pittsburgh gracias a una subvención de ARPA-H de hasta $41,5 millones.

Qué es RAMMP

RAMMP (Robotic Assistive Mobility and Manipulation Platform) es una plataforma asistencial con brazo manipulador. La dirige el laboratorio HERL de la University of Pittsburgh junto con su socio ATDev y un consorcio de universidades. El proyecto se dirige a los ~5,5 millones de usuarios de sillas de ruedas en Estados Unidos, para quienes tareas cotidianas como abrir una puerta, coger una taza o bajar un bordillo siguen siendo una barrera.

• Subvención de ARPA-H: hasta $41,5 millones
• Laboratorio principal: HERL, University of Pittsburgh
• Socios: ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modelos de Meta: DINOv3, SAM (incluido SAM 3.1), RF-DETR
• En Estados Unidos, cada año llegan a urgencias >100 000 lesiones relacionadas con sillas de ruedas

Cómo ayudan los modelos de Meta a que el robot vea

Los modelos de visión por computador de Meta permiten al robot RAMMP reconocer la escena y los objetos que lo rodean. DINOv3 (un transformer self-supervised que aprende de datos sin etiquetar) se encarga de la comprensión general de la imagen. SAM y SAM 3.1 segmentan y aíslan los objetos. Por su parte, RF-DETR, un modelo ligero de detección, se ha ajustado sobre embeddings de DINOv2 y se ejecuta directamente en el robot para reconocer objetos al instante y sobre el terreno.

«Los modelos de visión por computador de Meta son una tecnología crítica que permite a la plataforma robótica "ver".

Ayudan al robot a entender la escena, orientarse en el espacio y coger los objetos adecuados, lo que reduce notablemente la carga cognitiva del usuario y aumenta su autonomía», — Mansur Khan, gestor de programa de ARPA-H.

Por qué todo funciona en el dispositivo

RAMMP ejecuta los modelos directamente en el robot, mediante edge computing y no en la nube. Así elimina la dependencia de la conectividad y mantiene la respuesta en tiempo real. El equipo también utiliza un gemelo digital (un entorno virtual de simulación), control por voz y visión de 360 grados. El primer prototipo ya detecta botones de puertas automáticas, tazas y bordillos. El proyecto ha pasado a la fase de pruebas en condiciones reales y trabaja en la entrada por voz y táctil.

«Ejecutar modelos como DINOv3 y SAM directamente en el dispositivo

ofrece una percepción en tiempo real en la que el usuario puede confiar, sin depender de la conectividad y sin concesiones en seguridad», — Sivashankar Sivakanthan, jefe de gabinete del proyecto RAMMP.

Qué significa esto

Los modelos de visión abiertos de Meta salen del ámbito de la investigación y llegan a un producto físico: se convierten en los «ojos» de un robot asistencial que debe devolver la autonomía a millones de personas con movilidad reducida. Como subrayó la directora de ARPA-H, Alicia Jackson, la tecnología debe adaptarse a la persona, y no obligar a la persona a adaptarse a ella. RAMMP demuestra cómo un mismo conjunto de modelos open source impulsa a la vez la robótica y la accesibilidad.

Preguntas frecuentes

¿Qué modelos de Meta se usan en RAMMP?

La plataforma emplea tres modelos de visión por computador de Meta: DINOv3 para comprender la escena, SAM y SAM 3.1 para segmentar objetos, y RF-DETR, un detector ligero ajustado sobre embeddings de DINOv2 para funcionar directamente en el robot.

¿Cuánto dinero se ha destinado al proyecto?

La agencia ARPA-H financia el desarrollo con una subvención de hasta $41,5 millones. La organización principal es el laboratorio HERL de la University of Pittsburgh; entre los socios figuran ATDev, Kinova Robotics, LUCI Mobility y las universidades Carnegie Mellon, Cornell, Northeastern y Purdue.

¿A quién ayudará RAMMP?

La plataforma está pensada para personas con movilidad reducida: solo en Estados Unidos hay unos 5,5 millones de usuarios de sillas de ruedas, y cada año llegan a urgencias más de 100 000 lesiones relacionadas con sillas de ruedas.

*Meta está reconocida como organización extremista y prohibida en la Federación de Rusia.