SkeLAM ensina robô a repetir movimentos humanos após treinar com 10 horas de dados

Cerca de 10 horas de gravações de um robô e uma demonstração com a mão humana. Foi o suficiente para pesquisadores do Instituto de Tecnologia de Harbin (campus de Shenzhen) obterem o SkeLAM, modelo que transfere o movimento de uma pessoa para um braço robótico sem ajuste fino. O sistema parte do modelo de vídeo pré-treinado Cosmos-Predict2.5-2B, treinado com aproximadamente 10 horas de dados de robôs.

Humano na entrada, braço robótico na saída

O experimento é simples. O modelo foi treinado com dados em que um braço robótico interage com objetos. Na etapa de teste, os quadros do robô foram substituídos por uma demonstração humana: no vídeo, quem se move é uma mão real. O vídeo gerado mostra um braço mecânico cujo movimento corresponde ao gesto da pessoa. A direção do deslocamento coincide com a da demonstração.

Há um detalhe importante na forma como isso foi feito. Durante a transferência, os parâmetros do modelo ficam totalmente congelados, e nada foi ajustado para as demonstrações humanas. Esse regime é chamado de zero-shot: o modelo recebe dados de natureza diferente e lida com eles usando apenas os pesos obtidos no treinamento com dados de robôs.

Por que a transferência entre corpos continua sendo um gargalo

A robótica convive há muito tempo com a falta de dados. Gravações de teleoperação são caras: exigem operador, equipamento e tempo. Já vídeos de pessoas movendo as mãos são muitas vezes mais fáceis de filmar, e a internet tem uma quantidade enorme deles. Só que a mão humana e a garra de um manipulador diferem em geometria, número de graus de liberdade e aparência. Um modelo treinado em uma "forma de corpo" costuma ler mal outra. Na literatura, esse problema é chamado de transferência cross-embodiment (entre corpos).

O SkeLAM mostra que, com um volume pequeno de dados de robôs, é possível construir uma ponte entre duas formas corporais. Dez horas é um dataset modesto para os padrões da indústria. Parte do trabalho fica por conta de um grande modelo de vídeo, que já tem noção da física da cena, dos objetos e da dinâmica dos movimentos.

Parâmetros do experimento

• Autores: Instituto de Tecnologia de Harbin, campus de Shenzhen
• Nome do modelo: SkeLAM
• Modelo base: Cosmos-Predict2.5-2B, modelo de vídeo pré-treinado com cerca de 2 bilhões de parâmetros
• Dados de treinamento: cerca de 10 horas, no total, de dados de interação de robôs
• Cenário de teste: transferência da mão humana para o braço robótico
• Entrada no teste: videodemonstração de uma pessoa no lugar dos quadros do robô
• Resultado: o braço mecânico no vídeo gerado se move na direção correspondente à demonstração
• Regime de transferência: todos os parâmetros congelados, sem ajuste fino nessas demonstrações

O que ainda falta verificar

Gerar vídeo e controlar um manipulador real são etapas diferentes. Um clipe em que a mão se move na direção certa ainda não garante que um robô físico consiga executar uma pegada, uma rotação ou um posicionamento preciso. A coincidência na direção do movimento valida a base, mas não a motricidade fina. Os próximos passos devem, muito provavelmente, ir na direção de converter as trajetórias geradas em comandos para robôs reais e de testar o modelo em plataformas diferentes.

Para quem constrói robôs, a conclusão prática é a seguinte. Se novos testes confirmarem o resultado, boa parte dos dados de treinamento poderá ser coletada não com o robô, mas com pessoas e uma câmera comum. Isso reduz o custo dos datasets e acelera as iterações. Modelos de vídeo da classe Cosmos deixam de ser meros geradores de clipes e passam a servir de base para políticas de controle. Vale acompanhar como a equipe levará o resultado para plataformas físicas e quais métricas de sucesso nas tarefas ela apresentará fora dos vídeos de demonstração.