TARSphere testa robôs com "cérebro" MLLM em 360 episódios e 30 cenas

A equipe do TARSphere lançou uma stack de software completa para avaliar robôs controlados por modelos de linguagem multimodais em um mundo onde o ambiente muda e as pessoas mudam de ideia. A base é o benchmark TARSphere-Bench: 360 episódios em 30 cenas internas, cinco condições pareadas de avaliação e duas tarefas básicas, "vá e relate" e "encontre e entregue". O teste com oito MLLMs trouxe um resultado incômodo. Modelos de uso geral podem superar modelos embodied especializados, e colisões e quedas continuam sendo frequentes, mesmo quando todos usam a mesma interface de ações e o mesmo orçamento de decisões.

Um simulador em que as pessoas também querem alguma coisa

A maioria dos sistemas existentes para agentes embodied avalia o cumprimento de um objetivo predefinido. Outros simplificam a física a ações simbólicas, como "pegar o objeto" ou "ir para o cômodo". Na realidade, o robô em um apartamento ou escritório enfrenta outra situação: a porta de repente está fechada, a pessoa pede para alterar o pedido, e nem sempre fica claro, por uma única frase, o que ela de fato quer.

Por isso, a camada inferior, o TARSphere-Infra, executa as políticas do robô em um simulador físico. Ao lado dele ficam NPCs embodied, ou seja, pessoas virtuais com quem é possível conversar em um diálogo limitado. O resultado é calculado por uma máquina de estados finitos (FSM) orientada a eventos. Ela acompanha as ações concluídas e as informações transmitidas, atualiza o estado das tarefas e emite o veredito. A FSM reage ao que realmente aconteceu na simulação, e não ao relato do agente sobre os próprios sucessos.

Um cérebro em um modelo congelado

O segundo componente, o TARSphere-Harness, funciona como o "harness cerebral" do robô. A MLLM congelada não passa por fine-tuning para a tarefa. Ela age por meio de habilidades executáveis em vários níveis e se apoia em três fontes: observações, memória hierárquica e feedback da execução. Esse último ponto é importante: o modelo percebe que sua ação não funcionou e revê a decisão.

Essa abordagem facilita a comparação. Quando os oito modelos usam o mesmo conjunto de habilidades e o mesmo orçamento de decisões, a diferença nos resultados vem do próprio modelo, e não da qualidade do harness. O benchmark em si foi montado com a participação de um agente: a curadoria agent-in-the-loop alinha o sentido das tarefas, as dependências causais entre as etapas e a geometria das cenas. Com isso, ficam de fora do conjunto os episódios em que o objeto é fisicamente inalcançável ou a instrução contradiz a planta do ambiente.

Onde os robôs falham

As cinco condições pareadas testam diferentes aspectos da robustez:

• robustez da percepção;
• adaptação a ruídos e falhas;
• atualização da tarefa durante a execução;
• coordenação com a pessoa;
• compreensão de intenções.

A principal conclusão da avaliação é que MLLMs de uso geral podem superar modelos voltados a cenários embodied. Isso coloca em dúvida a aposta de que um fine-tuning estreito gera automaticamente um robô mais confiável. Pelos resultados, o amplo conhecimento de mundo e o raciocínio forte dos modelos de propósito geral às vezes pesam mais do que a especialização.

Os pontos fracos são comuns a todos. Atualizar a tarefa e interagir com pessoas continuam difíceis para todos os modelos. O agente que segue bem um plano se perde quando precisa reescrevê-lo no meio do caminho ou esclarecer o desejo do interlocutor. Os autores destacam, à parte, as colisões e quedas frequentes. Entregar o objeto com sucesso vale pouco se, no trajeto, o robô derrubou um móvel.

O que mudar na avaliação de robôs

Para equipes que constroem agentes com base em MLLMs, o TARSphere oferece algumas referências práticas:

• Medir a segurança da execução junto com a taxa de tarefas concluídas. Dois sistemas com o mesmo success rate podem ter números de colisões muito diferentes.
• Testar separadamente a troca de tarefas e o diálogo com a pessoa. É aí, segundo os resultados do benchmark, que os modelos mais falham.
• Comparar modelos com interface de ações e orçamento de decisões fixos. Assim fica claro o que vem do modelo e o que vem do harness.
• Não descartar MLLMs de uso geral em favor de modelos embodied sem testar nos seus próprios cenários.

Há também uma limitação: tudo isso acontece em simulação, em 30 cenas internas, e os NPCs falam dentro de um diálogo limitado. A transição para hardware real vai trazer ruído de sensores, desgaste mecânico e a imprevisibilidade das pessoas. Mesmo assim, como estrutura de trabalho para comparar os "cérebros" dos robôs antes de eles irem ao mundo físico, o TARSphere parece prático. Ele obriga a olhar não só se o robô chegou ao objetivo, mas também o que fez com as pessoas e os objetos ao redor pelo caminho.