LIBERO-Industry testa 5 políticas de robôs em 216 tarefas de fábrica

Os autores do LIBERO-Industry reuniram 216 tarefas que testam políticas robóticas generalistas em condições de linha de montagem: esteira em movimento, janela de ação limitada e tolerâncias geométricas rígidas. Os cinco modelos testados, incluindo vision-language-action e world-action, perdem desempenho à medida que as restrições são adicionadas e se sobrepõem. O benchmark foi construído sobre o popular LIBERO e responde a uma pergunta que os testes de laboratório deixavam de lado: o que acontece quando o produto muda e a esteira não para.

Onde as avaliações tradicionais falham

A manufatura flexível, em particular a montagem de eletrônicos no formato high-mix, low-volume (HMLV), vive em constante mudança. Os lotes são pequenos, as variantes do produto se alternam e as condições da linha oscilam. O robô precisa se adaptar, e não repetir uma única trajetória decorada. Os autores apontam uma lacuna: os arcabouços de avaliação existentes não capturam de forma sistemática as restrições industriais quando se trata de políticas generalistas. Um modelo pode ir bem em tarefas padrão de bancada e, ainda assim, nunca ter enfrentado uma esteira que leva a peça embora em segundos.

O LIBERO-Industry transforma essas restrições em condições de tarefa controláveis e critérios de sucesso mensuráveis. Cada fator pode ser ajustado isoladamente ou combinado com os demais.

Como o benchmark é organizado

O conjunto se divide em três cenários clássicos de produção. Eles diferem quanto ao lado da operação que está em movimento: a origem, o destino ou ambos.

• Static-to-Dynamic (S2D): carga; o objeto é pego em uma posição estática e enviado para um fluxo em movimento.
• Dynamic-to-Static (D2S): descarga; o objeto é retirado de um fluxo em movimento e colocado em um ponto estático.
• Dynamic-to-Dynamic (D2D): transferência entre dois fluxos em movimento.
• Total de 216 tarefas.
• Parâmetros variáveis: geometria do objeto, velocidade da esteira, duração da janela de interação e tamanho da região geométrica de tolerância.
• Foram avaliadas cinco políticas generalistas, entre elas modelos VLA e modelos world-action.

Os parâmetros foram escolhidos para reproduzir os requisitos reais da linha. Uma janela de interação curta significa que a política tem pouco tempo para a pegada. Uma região de tolerância pequena significa que acertar apenas de forma aproximada já conta como peça defeituosa. Uma esteira rápida combina os dois tipos de pressão.

O que os experimentos mostraram

O principal resultado é previsível na direção, mas útil na estrutura: a qualidade das políticas cai gradualmente à medida que as restrições industriais são introduzidas e cai ainda mais quando elas se combinam. A degradação não acontece de uma vez, por causa de um único fator. As restrições se acumulam, e são as combinações que se mostram mais difíceis. Para equipes que escolhem um modelo para uma linha de produção, isso importa mais do que a pontuação média em um conjunto clássico.

A segunda descoberta diz respeito ao treinamento. Com um protocolo único de ajuste fino e avaliação, a condição de co-treinamento com dados do LIBERO-Industry resultou em uma taxa observada de conclusão da transferência do objeto-alvo maior do que a condição com o LIBERO original. O resumo do artigo não traz números exatos, então não dá para estimar a dimensão do ganho a partir dele.

Há ainda uma ressalva: o LIBERO continua sendo um benchmark de simulação, e a transferência dos resultados para hardware real com esteiras de verdade não é demonstrada aqui. Além disso, é esperado que treinar com dados próximos dos de teste traga ganho. O ponto mais interessante é outro: a mistura precisa incluir dados específicos sobre dinâmica e tolerâncias, e não apenas sobre variedade de objetos e instruções.

Conclusões práticas

Se você avalia uma política robótica para a produção, não se limite ao sucesso em tarefas estáticas. Rode-a separadamente nos eixos de velocidade do fluxo, duração da janela e tamanho da tolerância e, depois, em combinações: o ponto fraco costuma aparecer na interseção dos fatores. Quem desenvolve deve incluir nos datasets de ajuste fino cenas com objetos em movimento e tolerâncias estreitas, em vez de esperar que a generalização a partir de dados de bancada funcione por conta própria. Por fim, os números obtidos em simulação devem ser tratados como o limite inferior dos requisitos de validação. O teste em uma linha real, com variantes reais do produto, continua sendo obrigatório.