Runtime REA eleva o sucesso de robôs no LIBERO-Pro a 95,9% e reduz em 25% os passos de controle

Uma equipe da Universidade Nacional de Singapura, da UC Berkeley, da Universidade de Tóquio, da HKUST e de outras instituições propôs o REA (Routed Embodied Agent), um runtime único em que um “cérebro” lento, baseado em um modelo grande, e políticas “reflexas” rápidas funcionam de forma assíncrona. A regra central do sistema: nenhuma política em execução espera pelo cérebro. Em 3000 episódios de teste nas 60 tarefas do LIBERO-Pro (variante do benchmark de manipulação com conjunto de teste perturbado), o REA teve 95,9% de episódios bem-sucedidos, contra 94,7% do baseline isolado mais forte, o Agents SDK + GPT-6. O número de passos de controle caiu 25%, e o tempo de controle, 17%.

Três camadas em vez de um único laço

Modelos grandes raciocinam bem, mas são lentos e caros demais para atuar como controlador. Já as políticas VLA rápidas e os controladores de corpo inteiro, como o SONIC, são precisos nos reflexos, mas generalizam mal. A arquitetura do REA se divide em três camadas.

O System 2 é o agente-“cérebro”: offline, ele gera políticas (programas congelados em Python); online, dá conselhos e emite o veredito sobre a tarefa ter sido concluída ou não. O System 1 é o roteador, que não produz ações por conta própria: ele decide qual política executar e quando recorrer ao cérebro. O System 0 reúne as políticas rápidas, que podem ser programas, modelos VLA ou controladores de corpo inteiro; elas operam no próprio ritmo e devolvem o controle ao roteador nas fronteiras dos segmentos.

O roteador se apoia em três mecanismos. O primeiro é a memória de rotas: antes da avaliação, cada política é executada em episódios de desenvolvimento, e sua taxa de sucesso e seu custo são registrados em uma tabela, de modo que, no teste, escolher a política se resume a consultá-la. O segundo é o juiz de fronteira: quando uma política devolve o controle, um modelo visual compara o quadro inicial e o atual com a instrução e decide se a tarefa foi concluída. O terceiro é a escada de escalonamento, com orçamento compartilhado de passos e de tempo.

Por que os esquemas simples não funcionam

Os autores mostram que duas formas óbvias de ligar o cérebro aos reflexos falham. Se o agente chama a política rápida e o roteador espera pelo conselho dele, o robô fica parado 2,6 s por episódio do LIBERO-Pro, cerca de 20% do tempo de controle. Se, por outro lado, a política só chama o agente quando dá erro, a maioria das falhas passa despercebida: o roteador com gatilho por exceção escalou apenas 6 vezes em 590 episódios, embora 166 deles tenham fracassado. Reexecutar uma tarefa já concluída pode estragar o resultado, por isso o juiz também protege o trabalho pronto.

Usar o modelo como controlador direto também não funciona: nos testes, modelos que emitiam tokens isolados ou ações cartesianas de IK resolveram 1 de 1987 e 0 de 600 episódios do LIBERO-Pro. Gerar políticas não é barato: a mediana foi de 43 minutos por tarefa do LIBERO, e o pipeline Codex + GPT-6 gastou 89 milhões de tokens de entrada nas 60 tarefas do LIBERO-Pro. Modelos VLA com resultado acima de 90% no LIBERO comum degradam bruscamente no conjunto perturbado do LIBERO-Pro.

Resultados e limitações

O REA chegou a menos de 1 p.p. do “oráculo retrospectivo” por tarefa (a escolha ideal de política para cada tarefa) e foi o método mais rápido entre os medidos em tempo: 17% menos tempo de controle que o Agents SDK + GPT-6 e 25% menos que o consultor bloqueante. O juiz de fronteira melhora a qualidade em relação ao gatilho por exceção, mas gasta 2,1 vezes mais tempo por sucesso.

No estudo separado com o RoboTwin 2.0 (50 episódios limpos e 50 randomizados), o REA com políticas VLA atingiu 84%, e com a adição de código, 86%; o baseline VLA isolado mais forte, o MEDex, obteve 80%. Políticas treinadas e programáticas funcionam no mesmo runtime. No BEHAVIOR-1K, o sistema resolveu 27 de 50 episódios, contra 25 do agente baseado no Agents SDK, mas os autores observam que a diferença não é estatisticamente significativa. Em outra amostra do RoboTwin, o REA fez 97 de 200, contra 75 do Codex CLI. No humanoide real Unitree G1, o robô chegou até a cadeira e a empurrou em 8 de 10 tentativas.

Há ressalvas. O ganho principal sobre a melhor política isolada no LIBERO-Pro é de 1,2 p.p., e boa parte do efeito vem da eficiência: menos passos e menos tempo. A memória de rotas é calibrada em episódios de desenvolvimento antes dos testes, e o conjunto de políticas é formado por programas escritos por agentes de programação, então o resultado depende da qualidade desse conjunto. A conclusão prática para quem desenvolve robôs: vale mais a pena construir a combinação “modelo grande mais políticas rápidas” como um despachante com estatísticas medidas previamente, em que o modelo caro é chamado raramente e fora do caminho crítico.