Meta DINOv3 и SAM: University of Pittsburgh строит ассистивного робота RAMMP за $41,5 млн

Em 27 de julho de 2026, a Meta anunciou que seus modelos de visão DINOv3, SAM e RF-DETR são a base do RAMMP — uma plataforma robótica assistiva para pessoas com mobilidade reduzida desenvolvida pelo laboratório Human Engineering Research Laboratories (HERL) da University of Pittsburgh, com um subsídio da ARPA-H de até $41,5 milhões.

O que é o RAMMP

O RAMMP (Robotic Assistive Mobility and Manipulation Platform) é uma plataforma assistiva com um braço manipulador conduzida pelo laboratório HERL da University of Pittsburgh, junto com o parceiro ATDev e um consórcio de universidades. O projeto tem como alvo ~5,5 milhões de usuários de cadeiras de rodas nos EUA, para quem ações cotidianas — abrir uma porta, pegar um copo, descer de uma calçada — continuam sendo uma barreira.

• Subsídio da ARPA-H — até $41,5 milhões
• Laboratório líder — HERL, University of Pittsburgh
• Parceiros: ATDev, Kinova Robotics, LUCI Mobility, Carnegie Mellon, Cornell, Northeastern, Purdue
• Modelos da Meta: DINOv3, SAM (incluindo o SAM 3.1), RF-DETR
• Nos EUA, mais de 100.000 lesões relacionadas a cadeiras de rodas chegam a prontos-socorros por ano

Como os modelos da Meta ajudam o robô a enxergar

Os modelos de visão computacional da Meta dão ao robô RAMMP a capacidade de reconhecer a cena e os objetos ao redor. O DINOv3 (um transformer autossupervisionado treinado com dados não rotulados) é responsável pela compreensão geral da imagem, o SAM e o SAM 3.1 segmentam e destacam objetos, e o modelo leve de detecção RF-DETR, ajustado sobre embeddings do DINOv2, é instalado diretamente no robô para reconhecimento rápido no local.

«Os modelos de visão computacional da Meta são uma tecnologia de importância crítica que permite que a plataforma robótica "enxergue".

Eles ajudam o robô a entender a cena, se orientar no espaço e pegar os objetos certos, reduzindo consideravelmente a carga cognitiva do usuário e aumentando sua autonomia», — Mansoor Khan, gerente de programa da ARPA-H.

Por que tudo roda no próprio dispositivo

O RAMMP executa os modelos diretamente no robô, em computação de borda (edge), e não na nuvem — isso elimina a dependência de conectividade e preserva a resposta em tempo real. A equipe também usa um gêmeo digital (um ambiente virtual para simulação), controle por voz e visão de 360 graus. O primeiro protótipo já detecta botões de portas automáticas, copos e guias de calçada; o projeto avançou para a fase de testes em condições reais e está trabalhando em entrada por voz e por toque.

«Rodar modelos como o DINOv3 e o SAM diretamente no dispositivo

proporciona uma percepção em tempo real na qual o usuário pode confiar — sem depender de conectividade e sem comprometer a segurança», — Sivashankar Sivakanthan, responsável pelo hardware do projeto RAMMP.

O que isso significa

Os modelos de visão abertos da Meta estão saindo da pesquisa para se tornarem um produto físico: eles se tornam os "olhos" de um robô assistivo que deve devolver a autonomia a milhões de pessoas com mobilidade reduzida. Como destacou a diretora da ARPA-H, Alicia Jackson, a tecnologia deve se adaptar à pessoa, e não obrigar a pessoa a se adaptar a ela. O RAMMP mostra como um único conjunto de modelos open-source pode impulsionar ao mesmo tempo a robótica e a acessibilidade.

Perguntas frequentes

Quais modelos da Meta são usados no RAMMP?

A plataforma utiliza três modelos de visão computacional da Meta: o DINOv3 para compreensão da cena, o SAM e o SAM 3.1 para segmentação de objetos e o RF-DETR — um detector leve ajustado sobre embeddings do DINOv2 para funcionar diretamente no robô.

Quanto foi destinado ao projeto?

O desenvolvimento é financiado pela agência ARPA-H com um subsídio de até $41,5 milhões. A organização líder é o laboratório HERL da University of Pittsburgh, e entre os parceiros estão a ATDev, a Kinova Robotics, a LUCI Mobility e as universidades Carnegie Mellon, Cornell, Northeastern e Purdue.

Quem o RAMMP vai ajudar?

A plataforma é voltada para pessoas com mobilidade reduzida: só nos EUA, cerca de 5,5 milhões de pessoas usam cadeiras de rodas, e mais de 100.000 lesões relacionadas a cadeiras de rodas chegam a prontos-socorros por ano.

*A Meta foi reconhecida como organização extremista e é proibida na Federação Russa.