Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarX: @NVIDIARobotics→ original

NVIDIA abriu 100 mil horas de demonstrações humanas para treinar robôs

Robôs têm dificuldade para aprender a usar as mãos, e os dados sobre como as pessoas executam essas tarefas são escassos. A NVIDIA reuniu 1 milhão de horas de demonstrações em primeira pessoa: vídeo de uma câmera na cabeça, rastreamento da cabeça e das mãos e descrições textuais das ações. Dessas, 100 mil horas foram disponibilizadas em acesso aberto no Hugging Face. Para desenvolvedores de robôs, isso é uma base gratuita para pré-treinamento, sem a necessidade de gravações caras.

Processado por IA de X: @NVIDIARobotics; editado por Hamidun News
NVIDIA abriu 100 mil horas de demonstrações humanas para treinar robôs
Fonte: X: @NVIDIARobotics. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @NVIDIARobotics ↗
Editor-chefe
Dado-chave #1Acesso aberto a 100 mil horas do 1 milhão coletado pela NVIDIA
Dado-chave #2Os registros incluem vídeo em primeira pessoa, rastreamento de cabeça e mãos e legendas em linguagem natural
Dado-chave #3O dataset foi publicado no Hugging Face e está disponível para toda a comunidade

Modelos de linguagem cresceram com trilhões de palavras da internet. Robôs não têm um oceano de dados assim: ninguém publicou na rede milhões de horas de gravações de mãos abrindo gavetas, reposicionando peças ou despejando água. A NVIDIA tenta preencher essa lacuna com um novo conjunto de dados: a empresa reuniu 1 milhão de horas de demonstrações humanas e abriu 100 mil horas delas para a comunidade.

O que há no dataset

Segundo a descrição da NVIDIA Robotics, as gravações são em primeira pessoa (egocentric video): a câmera vê o mundo pelos olhos da pessoa, e não de fora. Junto com o vídeo vêm dados sobre a posição da cabeça e das mãos, ou seja, para onde a pessoa olha e como exatamente move os dedos e os punhos. A terceira camada são as anotações em linguagem natural: descrições curtas do que acontece no quadro.

O exemplo mais simples é o de uma pessoa lavando uma xícara. A gravação traz a imagem do que ela vê, a trajetória das mãos e uma legenda como "pega a xícara e a coloca embaixo da torneira". A partir desse trio, o modelo aprende a associar palavras, imagem e movimento. É exatamente o que um robô precisa quando recebe a instrução "lave a louça" e espera ações coerentes do manipulador.

O conjunto foi publicado no Hugging Face, então qualquer equipe pode baixá-lo e testá-lo, e não apenas grandes laboratórios.

Por que isso importa para desenvolvedores de robôs

O principal método de coleta de dados para robôs hoje é a teleoperação: um operador, usando um traje especial ou controles, conduz o robô enquanto o sistema registra as ações. Isso é caro e lento, e escalar para milhões de horas é difícil. Gravar pessoas é mais barato: a pessoa simplesmente faz o seu trabalho, com uma câmera e sensores presos ao corpo.

Essa abordagem tem uma vantagem óbvia: a diversidade. As pessoas seguram objetos de formas diferentes e trabalham em cozinhas, oficinas e escritórios variados. Para o pré-treinamento de modelos que depois são ajustados com uma quantidade pequena de dados de um robô real, isso é uma base útil.

Para startups e grupos de pesquisa, as 100 mil horas abertas significam a possibilidade de começar o pré-treinamento ou experimentos de transferência de habilidades do humano para o robô sem montar um corpus próprio do zero. Para empresas que fabricam humanoides e manipuladores, é também um sinal: o mercado caminha para que os dados sobre a experiência humana se tornem um recurso básico, como os textos da web são para os LLMs.

Limitações e o que verificar

Ver as mãos de uma pessoa não significa conseguir reproduzir o movimento. O robô tem outro corpo: número diferente de dedos, outra força de preensão, outras limitações nas articulações. Por isso existe uma distância entre a gravação de um humano e a ação do hardware, e ela precisa ser tratada separadamente: recalculando os movimentos para a cinemática específica e ajustando o modelo com dados do próprio robô.

Há ainda outro ponto: só uma fração do volume coletado está aberta. As outras 900 mil horas permanecem com a NVIDIA, o que dá à empresa vantagem no treinamento de seus próprios modelos.

Antes de construir um produto sobre o dataset, vale consultar a página do conjunto no Hugging Face e checar as condições de licença, o formato das anotações e quais cenários e ambientes estão cobertos. Se a sua tarefa é logística de armazém e os dados são em grande parte de afazeres domésticos, o aproveitamento será menor.

Conclusão prática: se você desenvolve robótica ou modelos para tarefas físicas, é hora de incluir vídeos humanos em primeira pessoa no seu plano de dados. As 100 mil horas gratuitas são um bom motivo para testar esse caminho em um experimento pequeno já agora.

História

Perguntas frequentes sobre a notícia

O que há no dataset?

Segundo a descrição da NVIDIA Robotics, as gravações são em primeira pessoa (egocentric video): a câmera vê o mundo pelos olhos da pessoa, e não de fora. Junto com o vídeo vêm dados sobre a posição da cabeça e das mãos, ou seja, para onde a pessoa olha e como exatamente move os dedos e os punhos. A terceira camada são as anotações em linguagem natural: descrições curtas do que acontece no quadro. O exemplo mais simples é o de uma pessoa lavando uma xícara.

Por que isso importa para desenvolvedores de robôs?

O principal método de coleta de dados para robôs hoje é a teleoperação: um operador, usando um traje especial ou controles, conduz o robô enquanto o sistema registra as ações. Isso é caro e lento, e escalar para milhões de horas é difícil. Gravar pessoas é mais barato: a pessoa simplesmente faz o seu trabalho, com uma câmera e sensores presos ao corpo. Essa abordagem tem uma vantagem óbvia: a diversidade. As pessoas seguram objetos de formas diferentes e trabalham em cozinhas, oficinas e escritórios variados.

O que se sabe sobre Limitações e o que verificar?

Ver as mãos de uma pessoa não significa conseguir reproduzir o movimento. O robô tem outro corpo: número diferente de dedos, outra força de preensão, outras limitações nas articulações. Por isso existe uma distância entre a gravação de um humano e a ação do hardware, e ela precisa ser tratada separadamente: recalculando os movimentos para a cinemática específica e ajustando o modelo com dados do próprio robô. Há ainda outro ponto: só uma fração do volume coletado está aberta.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…