Nvidia GR00T 2 ensina robôs a partir de vídeos de pessoas: em 50 tarefas, o sucesso subiu de 40% para 95%

Imagine que você precisa ensinar um braço robótico a cortar uma banana. O caminho padrão hoje é este: um operador conduz o manipulador manualmente por horas, enquanto o sistema registra cada movimento. Isso é teleoperação. Ela é cara, lenta e presa a um modelo específico de robô: trocou o hardware, é preciso coletar os dados de novo. No relatório sobre o GR00T 2, a Nvidia tenta eliminar o operador humano desse esquema ou, ao menos, reduzir bastante a participação dele.

Um modelo que desenha o próprio futuro

A versão anterior, o GR00T 1, pertencia à classe VLA (vision-language-action). Na entrada, recebia a imagem da câmera e um comando de texto; na saída, produzia sinais motores. O GR00T 2 é diferente. A Nvidia o chama de world-action model, ou WAM. Ele calcula o próximo movimento e, ao mesmo tempo, gera por difusão um curto vídeo do futuro imediato. Se a mão pega um objeto, o modelo "desenha" de antemão como o quadro vai mudar.

Essa previsão em vídeo funciona como uma ponte entre a pessoa e o robô. O modelo foi treinado em um cluster com mais de mil chips GB300, incluindo cerca de 400 000 horas de vídeo em que pessoas realizam diversas atividades com uma câmera na cabeça. Para ensinar algo novo ao robô, basta que a pessoa mostre os passos com uma luva sensorial, uma garra manual especial ou um exoesqueleto de dedos. Durante o treinamento, esses registros são misturados a dados gerais de movimento do robô-alvo. Depois, na previsão em vídeo, o modelo desenha uma mão robótica no lugar da humana e extrai dessa imagem os comandos de controle adequados.

Em termos simples: observou como a pessoa faz, colocou-se mentalmente no lugar dela e calculou quais motores acionar.

O que os testes mostraram

Um robô com mãos de cinco dedos acendeu um fósforo, cortou uma banana e jogou pacotes em uma esteira. Não houve teleoperação específica para essas tarefas. Mas o sucesso oscilou de 10% a 80%, dependendo da tarefa, e 10% ainda é uma demonstração, não um produto. O sistema aprendeu a martelar pregos a partir de um único vídeo com a mão de uma pessoa, e isso por meio de simulação computacional.

O número mais forte diz respeito ao ajuste fino. Em 50 tarefas selecionadas, nas quais o modelo já se saía bem após alguns exemplos, menos de três minutos de treinamento convencional elevaram o sucesso de 40% para 95%. A ressalva é importante: as tarefas foram escolhidas entre as que já iam bem, então esse número não pode ser transposto para qualquer trabalho.

Para operações longas de montagem, a Nvidia coloca acima do GR00T 2 um modelo de linguagem, por exemplo o GPT-6 Astra da OpenAI. O GR00T cuida da preensão e dos movimentos. O modelo de linguagem divide a tarefa em etapas, marca na imagem os pontos de preensão e aciona rotinas auxiliares se uma peça cair. As peças dos modelos de brinquedo estavam misturadas sobre a mesa, e o conjunto as montou em no mínimo 97% das tentativas. Sem o modelo de linguagem corretor e sem ajuste fino, a montagem de um carrinho de brinquedo funcionou apenas 23 vezes em 100.

Para robôs bípedes, há uma versão mais leve, o GR00T 2 Turbo, que processa menos detalhes da imagem. Ele roda diretamente no computador de bordo Jetson Thor do humanoide. Esse robô pegou pipoca com uma concha, limpou mesas e secou líquido com uma toalha sob o pé. Esta última tarefa deu certo em pouco menos da metade das tentativas.

Onde ainda não funciona

Os próprios autores listam as barreiras para um trabalho confiável no mundo real. O modelo ainda não processa dados diretos de sensores táteis e às vezes deixa passar erros sutis, como um parafuso não totalmente apertado. O planejador baseado em modelo de linguagem desacelera muito o sistema. Na separação de lixo, o robô ficou parado cerca de um terço do tempo: em média, esperava mais de sete segundos pelo próximo cálculo do planejador.

O que isso significa na prática

A mudança principal não está nos recordes, mas na economia dos dados. Se vídeos de pessoas e luvas baratas substituem parte da teleoperação, o principal item de custo da robótica deixa de estar atrelado a um hardware específico. Para fundadores, é um motivo para recalcular o custo de coletar demonstrações. Para desenvolvedores, é um motivo para olhar com atenção o esquema "modelo de ação mais planejador LLM separado" e já incluir o atraso do planejador no orçamento de velocidade. Já os gerentes de produto devem lembrar: os números de 10–80% e 23% sem o planejador são de laboratório. Ainda falta muito para cenários confiáveis em uma fábrica ou em um armazém, especialmente onde é preciso sentir força e toque.