RoboArchitect, sem retreinamento, eleva o sucesso de manipuladores de 9,7% para 43,3% em cenas novas

Os autores do RoboArchitect mostraram que o harness de uma política robótica não precisa ser escrito à mão: dá para delegar essa tarefa a um modelo de código. O sistema pega uma política vision-language-action (VLA) congelada, examina os registros de suas execuções malsucedidas e reescreve sozinho o código de controle ao redor dela. Sem nenhuma atualização de pesos, o sucesso médio em cenas desconhecidas subiu de 9,7% para 43,3% (4,5 vezes) e, em tarefas desconhecidas, de 12,7% para 40,2% (3,2 vezes). Esses números vêm de episódios reservados, que o harness não viu durante a otimização.

O que exatamente evolui

Aqui, o harness é um programa que fica entre as observações do ambiente e os comandos de baixo nível enviados ao controlador. A cada passo, ele recebe imagens das câmeras, mapas de profundidade, a pose e o estado da garra, além da instrução em texto. A versão inicial simplesmente repassa as ações da política congelada sem alterações, o que equivale à avaliação do modelo "puro".

Em seguida, começa um ciclo familiar a qualquer engenheiro: rodar, encontrar a falha, entender a causa, corrigir o código e verificar de novo. Cada avaliação registra traços completos: imagens quadro a quadro, leituras do robô e saídas de todos os modelos e ferramentas. O modelo de código (os autores o executaram pelo cliente Claude Code, no nível máximo de esforço) lê esses traços, diagnostica as falhas e propõe uma nova versão. O candidato é reavaliado nos mesmos episódios de treinamento e só é aceito se superar a versão atual, de modo que a qualidade no conjunto de treino cresce de forma monotônica. O limite é de 5 iterações.

O harness tem acesso a ferramentas auxiliares: Qwen3-30B-A3B-Instruct como modelo de linguagem, Molmo2-8B para visão e indicação de pontos, Grounding-DINO para detecção, SAM 3 para segmentação e GraspGen para gerar poses de preensão. Há também utilitários geométricos que convertem pares "pixel — profundidade" em coordenadas 3D na base do robô.

O que o sistema inventou

As estratégias encontradas são bem humanas. Se a política empurra uma caixa de suco até ela tombar, o harness percebe o travamento e levanta o manipulador. Quando uma prateleira atrapalha por cima, a garra gira e o braço entra pelo lado. Se a porta da torradeira não fecha por falta de pressão, o harness amplia a amplitude da ação e faz a porta travar. Cada correção trata um tipo específico de falha, por isso é fácil de ler e de evoluir, ao contrário de mudanças nos pesos.

Onde a política não fornece nenhum sinal útil, o harness deixa de consultá-la e conduz o braço com base na própria percepção. Na prática, o resultado é um agente no paradigma code-as-policy, e os autores consideram que isso une, de forma empírica, duas abordagens que costumam ser tratadas separadamente.

O harness também desenvolve uma memória persistente. Os autores não definiram o esquema nem as regras de armazenamento: o sistema decide por conta própria o que registrar e como recuperar. Com isso, a memória passa a guardar detalhes pragmáticos, como a profundidade efetiva de preensão, que é levada em conta nas decisões seguintes.

Resultados e limitações

A avaliação usou LIBERO-Pro-10 (LIBERO-10 com objetos reposicionados), SimplerEnv Google e WidowX, e VLABench. As políticas usadas foram MolmoAct-2 e X-VLA. No VLABench, foi aplicado o progress score oficial, com crédito parcial por pegar o objeto certo e cumprir condições, embora o artigo, por simplicidade, também o chame de sucesso. Para comparar com o fine-tuning, os autores usaram checkpoints públicos dos mesmos modelos, ajustados para o benchmark-alvo.

O ganho é maior onde o benchmark está distante dos dados de treinamento da política: um modelo generalista com harness evoluído muitas vezes supera a versão de si mesmo com fine-tuning. Além disso, os autores montaram um harness único para diferentes plataformas (Franka Panda, WidowX, manipulador móvel do Google). Ele foi treinado em episódios gerados proceduralmente, fora das avaliações padrão. Ao redor do X-VLA generalista, ele melhora o resultado de forma expressiva; ao redor de especialistas com fine-tuning, mantém a qualidade deles.

As ressalvas são evidentes: todos os experimentos foram feitos em simuladores, e o texto disponível não descreve validação em hardware real. O resultado depende bastante de um modelo de código potente e de um conjunto de ferramentas prontas, e o material não traz dados sobre o número necessário de iterações nem sobre o custo das execuções. A conclusão prática para equipes que adaptam políticas a um novo braço ou cenário: em vez de coletar demonstrações e fazer fine-tuning, vale tentar primeiro o refinamento automatizado do harness. Os autores afirmam que é justamente nele que hoje está uma margem significativa de ganho para a manipulação.