Alibaba DAMO lança RynnUnify: modelo de 16B que planeja vídeo e controla robô

Pesquisadores da Alibaba DAMO Academy publicaram a RynnUnify, um modelo unificado de 16 bilhões de parâmetros para IA incorporada. Em uma única arquitetura, ele reúne compreensão de cena física, ancoragem espacial de objetos, geração de vídeo e controle de robô. Os principais números: +9,75 pontos sobre o Cosmos 3 Nano no Rynn-VP, benchmark de planejamento visual de longo prazo; 51,5% de sucesso em 20 tarefas compostas do RoboCasa365; e 46,7% de média em três tarefas com um robô real.

Um só cérebro no lugar de três modelos encadeados

Normalmente, a pilha de robótica é montada em partes. Um VLM descreve a cena, um modelo de mundo prevê o que vem a seguir e uma terceira política transforma tudo isso em movimentos. A RynnUnify, construída sobre o Cosmos 3, tenta eliminar as emendas entre esses componentes. Por dentro, ela usa Mixture-of-Transformers: um Reasoner autorregressivo cuida do raciocínio e da compreensão, enquanto um gerador de vídeo baseado em rectified flow mostra como o mundo vai mudar depois da ação.

A ideia central se chama interleaved visual planning. O modelo alterna o raciocínio em texto sobre uma subtarefa com uma curta previsão em vídeo do resultado e usa essa previsão para planejar o passo seguinte. Para a imagem não se degradar em horizontes longos, os autores adicionaram três recursos: memória da cena entre os trechos de vídeo, treinamento com self-forcing e duração adaptativa dos chunks.

Um agente que decide quando vale a pena "imaginar" o resultado

Gerar vídeo é caro, e nem toda pergunta exige isso. Por isso, sobre o modelo base foi treinada uma camada de agente com aprendizado por reforço (método BCPO). O próprio agente decide se responde de imediato ou se antes gera uma evidência visual. Se escolhe o segundo caminho, ele formula o pedido de geração, analisa o desfecho previsto e seleciona a linha de raciocínio mais útil para a tarefa. Isso pesa especialmente em estados não observáveis, como o que há dentro de uma caixa ou como termina o empurrão em um objeto.

Para a avaliação, os autores criaram dois novos benchmarks: o Rynn-VP, de planejamento visual de longo prazo, e o Rynn-GEU, de raciocínio antecipatório. No Rynn-GEU, o modo agente rendeu +6,0 pontos na média em comparação com a resposta direta, sem previsões em vídeo.

A ponte entre previsão e ação

A terceira parte do sistema é o World-Action Model (WAM). Ele parte da RynnUnify completa e a treina em conjunto com vídeo e ações, convertendo as representações preditivas do mundo em comandos para o robô. Os experimentos foram feitos em simulação e em hardware real.

• Escala do modelo: 16 bilhões de parâmetros, base Cosmos 3.
• Arquitetura: Mixture-of-Transformers, com Reasoner autorregressivo e gerador de vídeo rectified-flow.
• Rynn-VP: pontuação geral 9,75 pontos acima do Cosmos 3 Nano.
• Compreensão de cenas incorporadas: maior pontuação média entre os modelos multimodais unificados avaliados.
• Rynn-GEU: a camada de agente soma +6,0 pontos na média em relação ao raciocínio direto.
• RoboCasa365: 51,5% de sucesso em 20 tarefas compostas selecionadas.
• Robô real: 46,7% de sucesso médio em três tarefas.
• Novos benchmarks: Rynn-VP e Rynn-GEU.

O que fazer com isso na prática

O lançamento interessa sobretudo a equipes que constroem manipuladores e robôs móveis e já se cansaram de costurar à mão VLM, modelo de mundo e política. O código e a página do projeto estão abertos, então é possível verificar o quanto um "cérebro" compartilhado supera componentes separados nas suas próprias tarefas. Mas os números são modestos: 46,7% em robô real significa que mais da metade das tentativas não chega ao objetivo.

O que está confirmado é o valor da própria abordagem, em que um único backbone entende, imagina e age. Há dois pontos para acompanhar: quanto custa gerar vídeo a cada passo de planejamento e se os resultados se transferem para tarefas fora do RoboCasa365. Quem vai responder a essas perguntas são reproduções independentes.

Por enquanto, o artigo recebeu 16 votos no Hugging Face Daily Papers, e o repositório apenas começou a acumular estrelas.