EmbodiedLab: robôs foram testados em experimentos, e o melhor resolveu menos da metade

Pesquisadores da HexaFuture, entre eles Hongcheng Gao, Bryan Hooi, Yinpeng Dong e Wentao Zhang, apresentaram o EmbodiedLab. É um benchmark para agentes incorporados (embodied), que precisam montar um experimento por conta própria e extrair conhecimento dele. O conjunto tem 30 experimentos quantitativos de cinco disciplinas científicas, em 14 montagens de laboratório. Mesmo o melhor dos seis agentes testados, com controle nativo, resolve menos da metade das tarefas.

Descobrir, não reposicionar

A maioria dos benchmarks de robótica avalia a capacidade de alterar o mundo: pegar uma xícara, abrir uma gaveta, empilhar cubos. O estado-alvo é conhecido de antemão, e o agente só precisa alcançá-lo. Já os benchmarks de descoberta científica, ao contrário, avaliam o conhecimento, mas substituem o experimento físico por ações simbólicas ou consultas numéricas. O agente chama uma função e recebe um número, em vez de lidar com um instrumento de verdade.

O EmbodiedLab preenche a lacuna entre essas duas abordagens. O agente recebe o objetivo e a descrição da montagem. Ele escolhe o procedimento, controla o robô em um simulador físico de laboratório e lê os instrumentos por câmeras. Aqui, mudar o estado físico é um meio, não o fim: o agente move o sistema, observa a resposta e o investiga até obter o que procura, por exemplo uma lei física.

Como montar uma prova justa

O principal problema de um teste assim é que a resposta não pode estar nos dados de treinamento. Os autores o resolveram com experimentos quantitativos: os parâmetros do sistema são reamostrados a cada instância da tarefa. O resultado não pode ser lembrado nem adivinhado, mas pode ser avaliado com precisão.

A avaliação verifica duas coisas:

• o que o agente descobriu ao final, com a resposta apoiada nas leituras registradas ao longo do episódio;
• se o estado físico exigido pela tarefa foi alcançado.

Além disso, cada experimento foi verificado quanto à resolubilidade, ou seja, a falha não pode ser atribuída a uma tarefa defeituosa.

Seis modelos, três modos

Os autores executaram seis modelos de ponta nos agentes de código de seus próprios desenvolvedores. Cada um foi testado em três configurações:

• observação e controle nativos, sem acréscimos;
• com um módulo adicional de percepção e planejamento de movimentos;
• com habilidades de manipulação extraídas dos agentes mais fortes.

Com controle nativo, mesmo o melhor agente tem sucesso em menos da metade dos experimentos. Para os seis agentes, a maior parte das falhas não está no raciocínio, e sim na própria interação com a montagem: é preciso posicionar o manipulador no ponto certo, manusear o instrumento corretamente, esperar o sistema atingir o estado desejado e fazer a leitura. Um modelo pode entender qual experimento deve ser montado e, ainda assim, não conseguir concluí-lo.

Outra observação diz respeito ao que ajuda. As habilidades de manipulação obtidas dos agentes mais fortes trazem mais ganho aos modelos fracos do que a percepção e o planejamento de movimentos adicionados. Ao que tudo indica, o gargalo está nas técnicas operacionais já dominadas, e não em enxergar melhor a cena ou calcular trajetórias.

Para quem é este teste

Para quem desenvolve agentes, o EmbodiedLab oferece uma métrica que não existia: a capacidade de fechar o ciclo "hipótese — ação — observação — conclusão" em um ambiente físico. Essa capacidade é esperada da automação de laboratório e de assistentes autônomos na ciência. Para as equipes que constroem esses sistemas, o resultado aponta uma prioridade. Antes de ampliar a capacidade de raciocínio, vale investir em controle confiável de instrumentos e em bibliotecas de habilidades de manipulação.

O benchmark e o código de avaliação estão abertos no GitHub, no repositório HexaFuture/EmbodiedLab, então é possível rodar novos modelos e agentes nos mesmos 30 experimentos e comparar com os seis sistemas de referência. O trabalho foi publicado no arXiv com o número 2610.35385. A limitação continua evidente: tudo acontece em simulação, e a transferência para laboratórios reais exigirá uma verificação à parte. Mesmo assim, como diagnóstico de onde exatamente os agentes incorporados falham, o conjunto parece útil.