Robôs aprendem com 20 854 horas de vídeo: como a Sharpa constrói manipulação destra

Os dados para robôs ficam mais caros mais rápido do que os modelos crescem, e a indústria procura uma saída. A equipe do EgoScale, que inclui pesquisadores da NVIDIA, pré-treinou uma política robótica com 20 854 horas de vídeo em primeira pessoa mostrando pessoas em ação e registrou uma relação log-linear: quanto mais horas, melhor o resultado, e o ganho é previsível. Nesse contexto, o veículo chinês Jiqizhixin analisa a abordagem da Sharpa, que desenvolve a manipulação destra como um sistema único, formado por três camadas: hardware, dados e modelo.

Uma ressalva importante: o trecho disponível da reportagem não traz benchmarks próprios da Sharpa. Por isso, o texto a seguir examina o contexto e a lógica da abordagem, e não números verificados.

Por que os dados estão saindo da teleoperação

Há um ano, a principal fonte de trajetórias de treinamento para manipuladores era a teleoperação: um operador, com headset de VR ou luva, controla o robô enquanto o sistema grava as ações. O método gera dados limpos, no formato "nativo" do robô, mas tem três pontos fracos. É caro, porque exige operador, frota de robôs e um espaço físico. É lento: uma hora de gravação consome exatamente uma hora de tempo real. E escala mal do ponto de vista geográfico, já que cada nova cena exige presença física.

O vídeo de pessoas funciona de outra forma. Uma pessoa com uma câmera na cabeça pode filmar o dia a dia, a cozinha, uma montagem e qualquer movimento fino, sem nenhum robô por perto. Daí vem a escala do EgoScale. Trabalhos como o HumanScale, segundo o anúncio do Jiqizhixin, vão além e consideram que o vídeo pode se tornar a principal fonte de dados.

Onde o hardware entra nessa história

O vídeo tem um custo: a diferença entre o corpo humano e o corpo do robô. A mão humana tem dezenas de graus de liberdade e sensações táteis. Uma garra de dois dedos não consegue reproduzir o que aparece no vídeo. Quanto mais próxima da humana for a cinemática da mão do robô, menor a perda ao transferir o movimento do vídeo para a política de controle.

Por isso, a manipulação destra se divide mal em tarefas independentes, como "construir a mão" e "treinar o modelo". A escolha do design da mão define quais dados podem ser usados. O formato dos dados define a arquitetura do modelo. O modelo, por sua vez, impõe requisitos aos sensores. O título da reportagem do Jiqizhixin indica que a Sharpa tenta percorrer essa cadeia inteira, em vez de otimizar apenas um elo.

Principais referências

• Volume de pré-treinamento do EgoScale: 20 854 horas de vídeo egocêntrico de pessoas.
• Padrão observado: curva log-linear entre o volume de dados e a qualidade da política.
• Gargalo da teleoperação: custo, velocidade de gravação e dificuldade de escalar.
• Abordagem da Sharpa: a combinação "hardware – dados – modelo" para manipulação destra.
• Questão em aberto: o trecho da reportagem não traz métricas públicas comparáveis da Sharpa.

O que observar daqui para frente

Uma curva log-linear implica retornos decrescentes: cada duplicação dos dados rende aproximadamente o mesmo ganho. Para desenvolvedores, esse é um sinal prático que ajuda a planejar o orçamento de dados com antecedência. Para equipes que constroem suas próprias mãos e manipuladores, a conclusão é outra: a compatibilidade da cinemática com a humana se torna uma vantagem competitiva, porque abre acesso a enormes acervos de vídeo.

Ao avaliar sistemas desse tipo, vale checar três pontos. Primeiro: em quais tarefas o sucesso é medido e se há entre elas operações longas com objetos pequenos. Segundo: qual parcela dos dados vem de vídeo e qual vem de teleoperação para o ajuste fino. Terceiro: se os resultados se reproduzem em outras plataformas, e não apenas na mão "nativa" dos autores. Enquanto essas perguntas não tiverem respostas públicas, as declarações sobre uma abordagem sistêmica continuam sendo uma proposta, e não um resultado comprovado.