Meta DINOv3 и SAM: University of Pittsburgh строит ассистивного робота RAMMP за $41,5 млн

El 27 de julio de 2026, Meta anunció que sus modelos de visión DINOv3, SAM y RF-DETR son la base de RAMMP, una plataforma robótica asistiva para personas con movilidad reducida que desarrolla el laboratorio Human Engineering Research Laboratories (HERL) de la University of Pittsburgh con una subvención de ARPA-H de hasta $41,5 millones.

Qué es RAMMP

RAMMP (Robotic Assistive Mobility and Manipulation Platform) es una plataforma asistiva con un brazo manipulador que dirige el laboratorio HERL de la University of Pittsburgh junto con el socio ATDev y un consorcio de universidades. El proyecto está dirigido a ~5,5 millones de usuarios de sillas de ruedas en EE. UU., para quienes acciones cotidianas —abrir una puerta, tomar una taza, bajar de un bordillo— siguen siendo una barrera.

• Subvención de ARPA-H — hasta $41,5 millones
• Laboratorio líder — HERL, University of Pittsburgh
• Socios: ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modelos de Meta: DINOv3, SAM (incluyendo SAM 3.1), RF-DETR
• En EE. UU., cada año más de 100.000 lesiones relacionadas con sillas de ruedas llegan a urgencias

Cómo ayudan los modelos de Meta al robot a ver

Los modelos de visión por computadora de Meta le dan al robot RAMMP la capacidad de reconocer la escena y los objetos a su alrededor. DINOv3 (un transformer autosupervisado entrenado con datos sin etiquetar) se encarga de la comprensión general de la imagen, SAM y SAM 3.1 segmentan y resaltan objetos, y el modelo de detección ligero RF-DETR, ajustado sobre embeddings de DINOv2, se instala directamente en el robot para un reconocimiento rápido in situ.

«Los modelos de visión por computadora de Meta son una tecnología de importancia crítica que permite que la plataforma robótica "vea".

Ayudan al robot a comprender la escena, orientarse en el espacio y tomar los objetos correctos, reduciendo notablemente la carga cognitiva del usuario y aumentando su autonomía», — Mansoor Khan, gerente de programa de ARPA-H.

Por qué todo funciona en el propio dispositivo

RAMMP ejecuta los modelos directamente en el robot, mediante computación edge, y no en la nube —esto elimina la dependencia de la conectividad y mantiene la respuesta en tiempo real. El equipo también utiliza un gemelo digital (un entorno virtual para simulación), control por voz y visión de 360 grados. El primer prototipo ya detecta botones de puertas automáticas, tazas y bordillos; el proyecto ha pasado a la fase de pruebas en condiciones reales y trabaja en la entrada por voz y por tacto.

«Ejecutar modelos como DINOv3 y SAM directamente en el dispositivo

ofrece una percepción en tiempo real en la que el usuario puede confiar, sin depender de la conectividad y sin comprometer la seguridad», — Sivashankar Sivakanthan, responsable de hardware del proyecto RAMMP.

Qué significa esto

Los modelos de visión de código abierto de Meta trascienden la investigación para convertirse en un producto físico: se convierten en los «ojos» de un robot asistivo que debe devolver la autonomía a millones de personas con movilidad reducida. Como subrayó la directora de ARPA-H, Alicia Jackson, la tecnología debe adaptarse a la persona y no obligar a la persona a adaptarse a ella. RAMMP demuestra cómo un mismo conjunto de modelos de código abierto puede impulsar a la vez la robótica y la accesibilidad.

Preguntas frecuentes

¿Qué modelos de Meta se usan en RAMMP?

La plataforma emplea tres modelos de visión por computadora de Meta: DINOv3 para la comprensión de la escena, SAM y SAM 3.1 para la segmentación de objetos y RF-DETR, un detector ligero ajustado sobre embeddings de DINOv2 para funcionar directamente en el robot.

¿Cuánto se ha destinado al proyecto?

El desarrollo lo financia la agencia ARPA-H con una subvención de hasta $41,5 millones. La organización líder es el laboratorio HERL de la University of Pittsburgh, y entre los socios figuran ATDev, Kinova Robotics, LUCI Mobility y las universidades Carnegie Mellon, Cornell, Northeastern y Purdue.

¿A quién ayudará RAMMP?

La plataforma está pensada para personas con movilidad reducida: solo en EE. UU. hay unos 5,5 millones de usuarios de sillas de ruedas, y cada año más de 100.000 lesiones relacionadas con sillas de ruedas llegan a urgencias.

*Meta ha sido declarada organización extremista y está prohibida en la Federación de Rusia.