SERA ensina um planejador VLM a se autoevoluir: robô marca 51,38% no RoboMME

Uma equipe de pesquisadores apresentou o SERA (Self-Evolving Robotic Agent), sistema em que um modelo vision-language de alto nível atua como um agente robótico completo, enquanto um executor VLA fixo cuida do controle de baixo nível. O elemento central é um arcabouço editável (harness), que guarda o contexto da tarefa e é reescrito com o tempo a partir da experiência. No benchmark RoboMME, o SERA com seleção autônoma de configuração alcança 51,38% de sucesso geral; sem autoevolução, o resultado é de 44,38%. A diferença é de exatamente 7 pontos percentuais, ou cerca de 16% de ganho relativo.

Por que um único olhar para a cena não basta ao robô

Os modelos VLA se saem bem em manipulação porque reúnem compreensão visual, instruções em linguagem natural e geração de ações em uma única política. Os problemas começam nos horizontes longos. Nesses casos, as decisões costumam depender do histórico: o que já foi feito, qual etapa falhou, onde foi colocado um objeto que a câmera não vê no momento. São dependências não markovianas, e o quadro atual não as transmite.

Soma-se a isso a observabilidade parcial e o acúmulo de erros de execução. Uma pequena falha no terceiro passo pode se transformar, no décimo, no fracasso de toda a tarefa. O setor já testa dois caminhos: adicionar memória a políticas baseadas em foundation models e montar hierarquias em que o planejamento fica separado da execução. O SERA une as duas abordagens e dá o passo seguinte.

Um arcabouço que se reescreve sozinho

Os autores organizam a VLM de alto nível como um agente. Ao redor dela fica um arcabouço editável, que mantém o contexto da tarefa: progresso, resultados de interações anteriores e observações. O arcabouço é atualizado com os dados das observações e o feedback da execução, e esses dados atualizados orientam a etapa seguinte do planejamento. O executor VLA não é alterado e permanece fixo.

A autoevolução se baseia em rodadas no ambiente. O sistema propõe revisões do arcabouço, avalia essas revisões em rollouts e escolhe a melhor configuração. A variante escolhida é fixada antes do teste em dados separados (held-out). É um detalhe importante: assim, o número final não é ajustado às tarefas de teste, e a escolha é feita de forma autônoma, sem calibração manual para o benchmark.

Principais parâmetros do trabalho:

• Arquitetura: agente VLM de alto nível mais executor VLA de baixo nível imutável.
• Parte editável: harness com o contexto da tarefa, atualizado por observações e feedback.
• Mecanismo de melhoria: proposta e avaliação de revisões em rollouts no ambiente.
• Protocolo: a configuração é escolhida e fixada antes do teste held-out.
• Benchmark: RoboMME, com tarefas que dependem do histórico.
• Resultado: 51,38% com seleção autônoma, contra 44,38% sem autoevolução.

Onde está o valor prático

A principal conclusão para equipes que trabalham com robôs é que parte do ganho pode vir sem retreinar o VLA. Se o executor está congelado, as melhorias passam pela camada de planejamento e memória. Essa camada é mais fácil de versionar, reverter e validar do que os pesos de uma política grande. Para empresas que já têm um modelo VLA, é um caminho mais barato do que um novo ciclo de coleta de demonstrações e fine-tuning.

O esquema também mostra como ideias do universo dos agentes de programação estão sendo transferidas. Nesse campo, o arcabouço em torno do modelo, ou seja, instruções, memória e ferramentas, já é reconhecido há tempos como uma fonte independente de qualidade. O SERA aplica o mesmo princípio a tarefas físicas e acrescenta uma busca automática pela melhor versão do arcabouço.

As limitações também aparecem nos próprios números. Os 51,38% significam que cerca de metade dos episódios no RoboMME ainda termina em fracasso. O ganho de 7 pontos confirma a direção, mas não resolve o problema das tarefas longas. Os próprios autores formulam a conclusão com cautela: o planejamento agêntico parece um caminho promissor para manipulações que dependem do histórico. Para quem trabalha na prática, a pergunta seguinte é como essa abordagem se comportará com outros executores e em cenas reais, não simuladas, onde os erros de execução custam mais.