Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoThe Decoder→ original

Runway lança o Praxis-1: modelo de vídeo controla robô e resolve 46,2% das tarefas no teste da Nvidia

A Runway abriu o código e os pesos do Praxis-1, modelo que calcula os movimentos de um robô a partir dos quadros da câmera e de um comando como «coloque a banana no prato». No simulador RoboLab-120 da Nvidia (120 tarefas: ordenar, agarrar, empilhar), ele resolveu 46,2% contra 42,9% do FLUX 3 Action. Já no braço real Franka, foram 88 acertos em 100 tentativas, contra 80 do rival. As medições foram feitas pela própria Runway, então vale testar o modelo nas suas tarefas antes de qualquer implantação.

Processado por IA de The Decoder; editado por Hamidun News
Runway lança o Praxis-1: modelo de vídeo controla robô e resolve 46,2% das tarefas no teste da Nvidia
Fonte: The Decoder. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalThe Decoder ↗
Editor-chefe
Dado-chave #1A licença Apache 2.0 permite uso comercial
Dado-chave #2A versão base exige GPU de 80 GB; a versão comprimida roda em uma RTX 5090 de 32 GB
Dado-chave #3Confunde objetos parecidos e não planeja cadeias longas de passos

Robôs são difíceis de ensinar por um motivo simples: para que um manipulador pegue a banana com cuidado ou feche uma caixa, são necessárias centenas de horas de gravações caras, nas quais uma pessoa controla a máquina manualmente. A Runway, conhecida pelos geradores de vídeo como o Gen-4.5, adotou outra abordagem e publicou o Praxis-1 em acesso aberto.

O modelo calcula os movimentos do robô a partir dos quadros da câmera e de um comando de texto, e retira seu conhecimento sobre o mundo físico do treinamento com vídeos. No teste RoboLab-120 da Nvidia (120 tarefas simuladas de ordenar, agarrar e empilhar objetos), ele concluiu 46,2% dos trabalhos, enquanto o concorrente mais próximo, o FLUX 3 Action, chegou a 42,9%. Os pesos e o código estão disponíveis sob a licença Apache 2.

0, que permite uso comercial.

Como um modelo de vídeo virou controlador

O Praxis-1 recebe como entrada os quadros da câmera, uma instrução em texto («coloque a banana no prato») e os dados sobre a posição do próprio robô. Com base nisso, ele prevê como a cena vai mudar e calcula os movimentos necessários a partir dessa previsão. Quando chegam novos quadros, o controle é ajustado em tempo real.

A lógica se entende com um exemplo humano. Você já viu milhares de vídeos em que objetos caem, rolam e colidem, então tem uma ideia razoável do que acontece ao empurrar uma caneca. O Praxis-1 foi treinado primeiro com vídeos comuns, para aprender como objetos se movem e interagem. Depois, a Runway o ajustou com vídeos de ações humanas e dados de robôs. A empresa chama essa classe de sistemas de World Action Model: primeiro a previsão da cena, depois a ação.

A Runway espera que a abordagem reduza a dependência de datasets de robótica coletados sob medida. Ainda assim, dados específicos continuam necessários: para o braço Franka foram usadas cerca de 277 horas de gravações do conjunto público DROID, e para um robô bimanual, entre 1400 e 2600 horas. Não se sabe ainda se o modelo levou vantagem em volume de dados de robótica sobre os análogos sem pré-treinamento em vídeo, pois não há comparação direta.

O que os testes mostraram

No ranking RoboLab-120, o Praxis-1 teve 46,2% de sucesso, ou seja, pouco menos da metade das tarefas foi concluída até o fim. O FLUX 3 Action, também construído como World Action Model, obteve 42,9%. É o melhor resultado de sua categoria, mas no geral o modelo aparece apenas em quinto lugar: à frente estão dois agentes de IA e duas modelos de robôs com outra arquitetura.

No braço real Franka, após o ajuste com o DROID, os dois modelos foram comparados em dez tarefas, incluindo «colocar a banana no prato» e «fechar a caixa». Com dez tentativas por tarefa, o Praxis-1 teve sucesso em 88 de 100, e o FLUX 3 Action, em 80.

Também foi testada a transferência para um robô desconhecido: uma plataforma móvel com manipulador, na qual o Google desenvolveu o RT-1. Não havia gravações dessa plataforma no treinamento anterior do Praxis-1. Depois de um ajuste com cerca de 95 horas de dados, o modelo alcançou em simulação média de 80% de sucesso em quatro tipos de tarefa, de pegar latas de refrigerante a colocar uma maçã em uma caixa. O RT-1 original obteve 52,4% no mesmo teste. Uma ressalva importante: todos os testes foram conduzidos pela própria Runway, sem verificação independente.

Desde o fim de setembro, o modelo vem sendo testado pelas empresas Standard Bots, Noble Machines e Ultra, em um humanoide, um braço industrial e uma máquina bimanual de armazém.

Limitações e o que fazer se você é desenvolvedor

O modelo base, por si só, não serve para novos robôs: ele precisa ser ajustado. Para plataformas populares, já existem versões adaptadas prontas. O download é feito pelo Hugging Face, após cadastro e aceite das condições de acesso, e o código está no GitHub.

Os requisitos são altos: a versão padrão exige uma placa de vídeo com 80 GB de memória. Segundo estimativas da Runway, a versão comprimida cabe em uma RTX 5090 de 32 GB, mas o pico real de consumo de memória ainda não foi medido na documentação do GitHub.

A empresa não esconde os pontos fracos. O modelo às vezes confunde objetos semelhantes e tem dificuldade com comandos vagos. Tarefas longas precisam ser divididas em etapas manualmente, porque ele não consegue planejar sequências complexas de ações de forma confiável. A Runway enxerga o Praxis-1 sobretudo como um executor rápido de movimentos, que no futuro poderia ser combinado com um modelo de linguagem generalista: este decompõe a tarefa em passos, e o Praxis-1 os executa.

A conclusão prática: se você desenvolve uma pilha de robótica ou pesquisa manipuladores, surgiu uma base aberta e comercialmente utilizável, que pode ser comparada com outros modelos de controle de robôs. Mas, por enquanto, todos os números são afirmações da própria Runway. Por isso, teste o modelo nas suas tarefas e no seu hardware antes de contar com os percentuais anunciados.

História

Perguntas frequentes sobre a notícia

Como um modelo de vídeo virou controlador?

O Praxis-1 recebe como entrada os quadros da câmera, uma instrução em texto («coloque a banana no prato») e os dados sobre a posição do próprio robô. Com base nisso, ele prevê como a cena vai mudar e calcula os movimentos necessários a partir dessa previsão. Quando chegam novos quadros, o controle é ajustado em tempo real. A lógica se entende com um exemplo humano. Você já viu milhares de vídeos em que objetos caem, rolam e colidem, então tem uma ideia razoável do que acontece ao empurrar uma caneca.

O que os testes mostraram?

No ranking RoboLab-120, o Praxis-1 teve 46,2% de sucesso, ou seja, pouco menos da metade das tarefas foi concluída até o fim. O FLUX 3 Action, também construído como World Action Model, obteve 42,9%. É o melhor resultado de sua categoria, mas no geral o modelo aparece apenas em quinto lugar: à frente estão dois agentes de IA e duas modelos de robôs com outra arquitetura.

O que se sabe sobre Limitações e o que fazer se você é desenvolvedor?

O modelo base, por si só, não serve para novos robôs: ele precisa ser ajustado. Para plataformas populares, já existem versões adaptadas prontas. O download é feito pelo Hugging Face, após cadastro e aceite das condições de acesso, e o código está no GitHub. Os requisitos são altos: a versão padrão exige uma placa de vídeo com 80 GB de memória. Segundo estimativas da Runway, a versão comprimida cabe em uma RTX 5090 de 32 GB, mas o pico real de consumo de memória ainda não foi medido na documentação do GitHub.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…