SkeLAM ensinou um robô a repetir movimentos humanos com apenas 10 horas de dados

Cerca de 10 horas de gravações de um robô e uma única demonstração feita com a mão humana. Isso foi suficiente para que pesquisadores do Instituto de Tecnologia de Harbin (campus de Shenzhen) desenvolvessem o modelo SkeLAM, capaz de transferir o movimento de uma pessoa para um manipulador sem nenhum fine-tuning. A base do sistema é o modelo de vídeo pré-treinado Cosmos-Predict2.5-2B, treinado com aproximadamente 10 horas de dados de robôs.

Humano na entrada, manipulador na saída

O experimento é simples. O modelo foi treinado com dados em que uma mão robótica interage com objetos. No teste, os quadros do robô foram substituídos por uma demonstração humana: na cena, é uma mão de verdade que se move. O vídeo gerado mostra uma mão mecânica cujo movimento corresponde ao gesto humano. A direção do deslocamento coincide com a demonstração.

O detalhe importante está em como isso foi feito. Os parâmetros do modelo permanecem totalmente congelados durante a transferência; nada foi ajustado com base nas demonstrações humanas. Esse regime é chamado de zero-shot: o modelo encontra dados de natureza diferente e lida com eles usando os mesmos pesos obtidos a partir de dados de robôs.

Por que a transferência entre corpos continua sendo um ponto de estrangulamento

A robótica enfrenta um problema antigo de escassez de dados. Gravações de teleoperação são caras: exigem operador, equipamento e tempo. Filmar vídeos de pessoas movendo as mãos é muito mais simples, e há uma quantidade enorme desse material disponível na internet. Mas a mão humana e a garra de um manipulador diferem em geometria, número de graus de liberdade e aparência. Um modelo treinado em uma "forma de corpo" geralmente interpreta mal outra forma. Na literatura, essa tarefa é chamada de transferência entre corporificações (cross-embodiment).

O SkeLAM mostra que é possível construir uma ponte entre duas formas de corpo usando um volume pequeno de dados de robôs. Dez horas é um conjunto de dados modesto pelos padrões da indústria. Parte das capacidades fica a cargo do grande modelo de vídeo, que já possui uma representação da física da cena, dos objetos e da dinâmica dos movimentos.

Parâmetros do experimento

• Autores: Instituto de Tecnologia de Harbin, campus de Shenzhen
• Nome do modelo: SkeLAM
• Modelo base: Cosmos-Predict2.5-2B, modelo de vídeo pré-treinado com cerca de 2 bilhões de parâmetros
• Dados de treinamento: no total, cerca de 10 horas de dados de interação do robô
• Cenário de teste: transferência da mão humana para a mão robótica
• Entrada no teste: vídeo-demonstração humana em vez de quadros do robô
• Resultado: a mão mecânica no vídeo gerado se move na direção correspondente à demonstração
• Regime de transferência: todos os parâmetros congelados, sem fine-tuning com essas demonstrações

O que ainda precisa ser verificado

Geração de vídeo e controle de um manipulador real estão em estágios diferentes. Um vídeo em que a mão se move na direção correta ainda não garante que o robô físico executará a preensão, o giro ou o posicionamento preciso. A coincidência na direção do movimento comprova a base, mas não a motricidade fina. O trabalho futuro provavelmente seguirá no sentido de converter as trajetórias geradas em comandos para robôs reais e testá-las em diferentes plataformas.

Para quem constrói robôs, a conclusão prática é a seguinte: se verificações futuras confirmarem o resultado, boa parte dos dados de treinamento poderá ser coletada não com um robô, mas com pessoas usando uma câmera comum. Isso reduz o custo dos conjuntos de dados e acelera as iterações. Modelos de vídeo da classe Cosmos deixam de ser apenas geradores de vídeos e passam a servir de base para políticas de controle. Vale acompanhar como a equipe vai transferir o resultado para plataformas físicas e quais métricas de sucesso nas tarefas serão apresentadas além dos vídeos de demonstração.