Meta DINOv3 e SAM: University of Pittsburgh constrói o robô assistivo RAMMP com US$ 41,5 milhões

Em 27 de julho de 2026, a Meta contou que seus modelos de visão DINOv3, SAM e RF-DETR são a base do RAMMP, uma plataforma robótica assistiva para pessoas com mobilidade reduzida. O projeto é desenvolvido pelo laboratório Human Engineering Research Laboratories (HERL), da University of Pittsburgh, com uma bolsa de até US$ 41,5 milhões da ARPA-H.

O que é o RAMMP

O RAMMP (Robotic Assistive Mobility and Manipulation Platform) é uma plataforma assistiva com braço manipulador. O laboratório HERL, da University of Pittsburgh, lidera o projeto em parceria com a ATDev e um consórcio de universidades. O foco são cerca de 5,5 milhões de usuários de cadeira de rodas nos EUA, para quem tarefas do dia a dia, como abrir uma porta, pegar uma xícara ou descer um meio-fio, ainda são uma barreira.

• Bolsa da ARPA-H: até US$ 41,5 milhões
• Laboratório líder: HERL, University of Pittsburgh
• Parceiros: ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modelos da Meta: DINOv3, SAM (incluindo o SAM 3.1), RF-DETR
• Nos EUA, mais de 100 000 lesões relacionadas a cadeiras de rodas chegam todos os anos aos pronto-socorros

Como os modelos da Meta ajudam o robô a enxergar

Os modelos de visão computacional da Meta dão ao RAMMP a capacidade de reconhecer a cena e os objetos ao redor. O DINOv3, um transformer auto-supervisionado treinado com dados não rotulados, responde pela compreensão geral da imagem. O SAM e o SAM 3.1 segmentam e isolam objetos. Já o RF-DETR, um modelo leve de detecção ajustado sobre embeddings do DINOv2, roda diretamente no robô para reconhecimento rápido no local.

"Os modelos de visão computacional da Meta são uma tecnologia crítica que permite à plataforma robótica "ver".

Eles ajudam o robô a entender a cena, navegar pelo espaço e pegar os objetos certos, reduzindo de forma significativa a carga cognitiva do usuário e aumentando sua autonomia", disse Mansoor Khan, gerente de programa da ARPA-H.

Por que tudo roda no dispositivo

O RAMMP executa os modelos diretamente no robô, em edge computing, e não na nuvem. Isso elimina a dependência de conexão e mantém a resposta em tempo real. A equipe também usa um gêmeo digital (um ambiente virtual de simulação), controle por voz e visão de 360 graus. O primeiro protótipo já detecta botões de portas automáticas, xícaras e meios-fios. O projeto entrou na fase de testes em condições reais e trabalha em entrada por voz e por toque.

"Rodar modelos como o DINOv3 e o SAM diretamente no dispositivo oferece uma percepção em tempo real em que o usuário pode confiar, sem depender de conexão e sem concessões na segurança", afirmou

Sivashankar Sivakanthan, chefe de gabinete do projeto RAMMP.

O que isso significa

Os modelos abertos de visão da Meta saem do ambiente de pesquisa e chegam a um produto físico: viram os "olhos" de um robô assistivo que pretende devolver autonomia a milhões de pessoas com mobilidade reduzida. Como destacou a diretora da ARPA-H, Alicia Jackson, a tecnologia deve se adaptar à pessoa, e não obrigar a pessoa a se adaptar a ela. O RAMMP mostra como um único conjunto de modelos open source pode avançar ao mesmo tempo a robótica e a acessibilidade.

Perguntas frequentes

Quais modelos da Meta são usados no RAMMP?

A plataforma usa três modelos de visão computacional da Meta: o DINOv3, para compreensão da cena; o SAM e o SAM 3.1, para segmentação de objetos; e o RF-DETR, um detector leve ajustado sobre embeddings do DINOv2 para rodar diretamente no robô.

Quanto foi destinado ao projeto?

A agência ARPA-H financia o desenvolvimento com uma bolsa de até US$ 41,5 milhões. A organização líder é o laboratório HERL, da University of Pittsburgh. Entre os parceiros estão ATDev, Kinova Robotics, LUCI Mobility e as universidades Carnegie Mellon, Cornell, Northeastern e Purdue.

Quem o RAMMP vai ajudar?

A plataforma é voltada a pessoas com mobilidade reduzida: só nos EUA, são cerca de 5,5 milhões de usuários de cadeira de rodas, e mais de 100 000 lesões relacionadas a cadeiras de rodas chegam todos os anos aos pronto-socorros.