Agente de código substitui o teleoperador: 93 acertos em 100 tentativas contra 84 dos humanos

Para ensinar um robô a, por exemplo, abrir uma gaveta, um operador humano com controle remoto demonstra os movimentos muitas vezes e, após cada falha, reposiciona os objetos manualmente. Cada episódio consome tempo do operador e do próprio robô, e, para uma nova tarefa ou uma nova cena, a coleta de dados recomeça do zero. A equipe DAGroup, da Universidade de Pequim, propôs o sistema PyRUA-DataFarm ("fazenda de dados"), em que um agente de código substitui o operador: a partir de uma única gravação curta da cena, ele mesmo monta a tarefa no simulador e gera vídeos anotados para o treinamento.

Em cinco tarefas reais, o robô treinado apenas com esses dados teve êxito em 93 de 100 tentativas; o treinado com o mesmo número de episódios de teleoperação, em 84. Para quem coleta dados para manipuladores robóticos, é uma forma de reduzir os gastos com operadores e com a readaptação a novas tarefas.

Como o agente toma o lugar do operador

A entrada se resume a duas coisas: a descrição textual da tarefa, com a condição de sucesso, e um episódio de calibração, uma gravação curta do robô na cena desejada, feita por várias câmeras. As ações dessa gravação não são copiadas. Ela serve para entender onde estão as câmeras, quais objetos há na cena e qual o tamanho de cada um.

Daí em diante, o agente trabalha como um engenheiro. Ele reconstrói a cena no simulador, verifica se o simulador de fato sabe executar as habilidades necessárias (por exemplo, puxar uma gaveta pela maçaneta) e escreve três itens: a descrição da cena, um programa especialista que resolve a tarefa e uma verificação de sucesso. O especialista é executado a partir de muitas posições iniciais, e o simulador devolve as ações exatas, os estados dos objetos e os contatos.

Resta o problema da imagem: a simulação parece simulação, e o robô treinado com ela tropeça no mundo real. Por isso, cada execução é enviada a um modelo de vídeo, que recebe quadros reais da gravação de calibração. O modelo gera um vídeo fotorrealista para todas as câmeras de uma vez, preservando a pose da mão, os objetos e os contatos vindos da simulação. Uma toalha de mesa nova ou uma luz colorida são definidas com um prompt de texto simples.

O controle de qualidade funciona separadamente. Um agente que escreve tanto o especialista quanto a verificação de sucesso pode aprovar os próprios erros. Por isso, o especialista é desenvolvido contra um juiz cujo código ele não enxerga e só é aceito com base em estados iniciais reservados. O modelo de vídeo pode alterar a aparência, mas não a geometria, os objetos nem o timing. Cada episódio pronto é conferido com a simulação por verificações automáticas e por um revisor independente, e só depois disso entra no conjunto de dados.

O que os experimentos mostraram

Os testes foram feitos em cinco tarefas reais com dois braços, envolvendo objetos rígidos, articulados e macios, incluindo tecido e tela. Os robôs treinados apenas com dados da fazenda tiveram 93 acertos em 100 tentativas. Os robôs treinados com o mesmo número de episódios de teleoperação tiveram 84.

A diferença fica maior quando as condições mudam. Quando uma toalha de mesa desconhecida foi colocada sobre a mesa e a luz colorida foi ligada, as políticas treinadas na fazenda mantiveram 87 acertos, enquanto as treinadas com teleoperação caíram para 46. Os autores atribuem isso ao fato de a fazenda acrescentar variedade de aparência em torno de trajetórias exatas e fixas.

Os quadros reais no modelo de vídeo se mostraram decisivos: as mesmas trajetórias, com randomização comum de texturas e iluminação, renderam apenas 26 e 21 acertos. Pelas estatísticas de imagem, os episódios da fazenda ficam mais de duas vezes mais próximos dos quadros reais do que a renderização do próprio simulador.

Quanto isso custa

Adaptar uma nova tarefa custa, em média, $21 em API, pagos uma única vez por tarefa, mais $5 de contrato de renderização. Cada episódio seguinte custa em média $0,80 pela simulação, renderização, nova renderização e verificação, sem contar o robô nem o operador. Em 100 episódios, a média fica em $1,06 por episódio. Uma hora de dados sincronizados de três câmeras sai a $107, já com todos esses custos. Para comparação: a cotação de teleoperação na China é de $117 por hora, e só a remuneração da mão de obra na América do Norte chega a $290.

Limitações e conclusão

A diferença em relação à teleoperação chinesa é pequena: a principal economia deve aparecer em grandes volumes e com troca frequente de tarefas, quando os $26 únicos de configuração se diluem em muitos episódios. Os preços foram calculados pelos próprios autores, e não há auditoria independente. Foram testadas cinco tarefas, e tudo depende de o simulador conseguir reproduzir as habilidades necessárias: em operações de contato com física complexa, isso pode não funcionar. Trata-se de um preprint, e ninguém ainda reproduziu os resultados.

Conclusão prática: a combinação "o simulador fornece as ações, o modelo de vídeo fornece a aparência e um revisor independente aprova os dados" já se equipara à teleoperação em qualidade e é mais robusta quando a cena muda. O código está no GitHub, no repositório PyRUA-Lean, na branch DataFarm.