TILDE ensina robôs com modelos de fundação e melhora o resultado em até 4,1 vezes

Uma equipe de pesquisadores apresentou o TILDE (Teacher-In-the-Loop Distillation from EFMs), uma forma de transferir habilidades de manipulação de grandes Embodied Foundation Models pré-treinados para políticas pequenas, que nunca passaram por pré-treinamento em ações. Em três tarefas reais de robótica, o método entrega ganho de até 4,1 vezes em relação ao behavior cloning convencional. Junto com ele, os autores propõem o AutoDAgger, um pipeline que coleta dados de recuperação após erros mais de duas vezes mais rápido que o esquema com humano no circuito.

Por que não dá para repetir o pré-treinamento em ações

Os EFMs que passaram por pré-treinamento em larga escala com ações generalizam bem para situações novas e são estáveis em malha fechada: se algo dá errado, eles corrigem o movimento. Isso tem um custo. Esse tipo de pré-treinamento exige grandes volumes de dados de robôs e recursos computacionais pesados, que a maioria dos laboratórios e empresas simplesmente não tem.

Surge então uma pergunta prática: é possível absorver as capacidades do professor sem repetir o caminho dele? A resposta clássica é o behavior cloning, ou seja, a cópia de demonstrações, que tem uma fraqueza conhecida. O aluno aprende com trajetórias em que tudo dá certo, mas, na prática, ele erra e acaba em estados que não aparecem nas demonstrações. Os erros se acumulam, e a política desmorona.

Três fontes de sinal em um só esquema

O TILDE combina três tipos de aprendizado: com demonstrações, com a supervisão do professor nos estados do aluno e com o comportamento corretivo do professor.

• As demonstrações definem o comportamento básico.
• A destilação on-policy traz as orientações do professor justamente onde o aluno chega por conta própria, e não onde o operador esteve ao gravar os dados.
• As trajetórias de recuperação são executadas pelo próprio professor. Quando o aluno se perde, o professor assume o controle e mostra como voltar à tarefa.

Na essência, é uma evolução da ideia do DAgger, em que um especialista rotula os estados visitados pela política em treinamento. A diferença é que, aqui, o papel de especialista é do EFM, e não de uma pessoa.

AutoDAgger: o operador sai do circuito

O gargalo do DAgger tradicional é o humano. Alguém precisa observar o robô, perceber a falha a tempo e assumir o controle manualmente. O AutoDAgger elimina esse papel. Um modelo de recompensa para robótica acompanha o progresso da tarefa e, quando esse progresso para ou regride, aciona a intervenção do professor. Ele executa a trajetória de recuperação, e ela entra no conjunto de treinamento sem observador e sem controle manual.

O resultado é uma coleta dessas trajetórias mais de 2 vezes mais rápida que no método human-in-the-loop.

Principais parâmetros

• Método: destilação a partir de EFM com professor no circuito (TILDE)
• Coleta de dados: AutoDAgger, com modelo de recompensa para robótica como monitor de progresso
• Aceleração da coleta de trajetórias de recuperação: mais de 2 vezes em relação ao humano no circuito
• Ganho de qualidade: até 4,1 vezes sobre o behavior cloning
• Validação: três tarefas reais
• Adicionalmente: suporte à destilação entre arquiteturas diferentes

O que fazer com isso na prática

O ponto mais notável é a compatibilidade entre arquiteturas. O aluno não precisa seguir a estrutura do professor, então é possível treinar uma política compacta, sob medida para um hardware específico e um orçamento de latência, a partir de um modelo grande, sem ter de ajustar uma arquitetura à outra. Para equipes que têm acesso a um EFM robusto, mas não dispõem de recursos para um pré-treinamento próprio, esse é um caminho concreto até uma política funcional.

A segunda conclusão prática diz respeito ao custo dos dados. Se uma pessoa deixa de ficar de plantão ao lado do robô, a coleta de dados corretivos deixa de ser trabalho manual e vira um processo em segundo plano, que pode rodar em paralelo em várias estações.

As limitações também são claras. Todo o esquema depende do modelo de recompensa: se ele atrasar o sinal de alerta ou emitir um alarme falso, o professor vai intervir na hora errada. A coleta de dados também exige um professor em execução, e três tarefas ainda são uma amostra pequena para concluir qualquer coisa sobre universalidade. Mesmo assim, a direção parece convincente: os grandes modelos deixam de ser o produto final e passam a atuar como treinadores de políticas menores e mais baratas de operar.