SERA enseña a un planificador VLM a autoevolucionar: el robot alcanza un 51,38% en RoboMME

Un equipo de investigadores ha presentado SERA (Self-Evolving Robotic Agent), un sistema en el que un modelo vision-language de alto nivel actúa como un agente robótico completo, mientras que el control de bajo nivel recae en un ejecutor VLA fijo. El elemento clave es un «arnés» (harness) editable que almacena el contexto de la tarea y se reescribe con el tiempo a partir de la experiencia. En el benchmark RoboMME, SERA con selección autónoma de configuración alcanza un 51,38% de éxito global, mientras que sin autoevolución el resultado es del 44,38%. La diferencia es de exactamente 7 puntos porcentuales, o alrededor de un 16% de mejora relativa.

Por qué a un robot no le basta con mirar la escena

Los modelos VLA se desenvuelven bien en manipulación porque combinan comprensión visual, instrucciones en lenguaje natural y generación de acciones en una sola política. Los problemas empiezan en los horizontes largos. Allí las decisiones dependen a menudo de la historia: qué se ha hecho ya, qué paso ha fallado, dónde se dejó un objeto que ahora la cámara no ve. Son dependencias no markovianas, y el fotograma actual no las recoge.

A esto se suman la observabilidad parcial y la acumulación de errores de ejecución. Un pequeño fallo en el tercer paso se convierte, hacia el décimo, en el fracaso de toda la tarea. El sector ya explora dos vías: añadir memoria a las políticas basadas en foundation models y construir jerarquías en las que la planificación está separada de la ejecución. SERA combina ambos enfoques y da un paso más.

Un arnés que se reescribe solo

Los autores organizan el VLM de alto nivel como un agente. A su alrededor hay un arnés editable que mantiene el contexto de la tarea: el progreso, los resultados de interacciones anteriores y las observaciones. El arnés se actualiza con los datos de las observaciones y el feedback de la ejecución, y esa información actualizada guía la siguiente etapa de planificación. El ejecutor VLA no se toca: permanece fijo.

La autoevolución se apoya en ejecuciones en el entorno. El sistema propone revisiones del arnés, las evalúa en rollouts y elige la mejor configuración. La variante elegida se fija antes de la prueba en el conjunto reservado (held-out). Es un detalle importante: así la cifra final no se ajusta a las tareas de test, y la selección se hace de forma autónoma, sin configuración manual para el benchmark.

Principales parámetros del trabajo:

• Arquitectura: un agente VLM de alto nivel más un ejecutor VLA de bajo nivel que no cambia.
• Parte editable: un harness con el contexto de la tarea, actualizado a partir de observaciones y feedback.
• Mecanismo de mejora: propuesta y evaluación de revisiones mediante rollouts en el entorno.
• Protocolo: la configuración se elige y se fija antes de la prueba held-out.
• Benchmark: RoboMME, tareas con dependencia de la historia.
• Resultado: 51,38% con selección autónoma frente al 44,38% sin autoevolución.

Dónde está el valor práctico

La principal conclusión para los equipos que trabajan con robots es que parte de la mejora se puede conseguir sin reentrenar el VLA. Si el ejecutor está congelado, las mejoras llegan a través de la capa de planificación y memoria. Esa capa es más fácil de versionar, revertir y verificar que los pesos de una política grande. Para las empresas que ya tienen un modelo VLA, es un camino más barato que un nuevo ciclo de recogida de demostraciones y ajuste fino.

El esquema también muestra cómo se trasladan ideas del mundo de los agentes de programación. Allí, el arnés alrededor del modelo (instrucciones, memoria y herramientas) hace tiempo que se reconoce como una fuente independiente de calidad. SERA aplica el mismo principio a tareas físicas y añade una búsqueda automática de la mejor versión del arnés.

Las limitaciones también se desprenden de las propias cifras. Un 51,38% significa que aproximadamente la mitad de los episodios de RoboMME sigue terminando en fracaso. Una mejora de 7 puntos confirma la dirección, pero no resuelve el problema de las tareas largas. Los propios autores formulan su conclusión con cautela: la planificación agéntica parece un camino prometedor para la manipulación que depende de la historia. Para los profesionales, la siguiente pregunta es cómo se comportará este enfoque con otros ejecutores y en escenas reales, no simuladas, donde los errores de ejecución salen más caros.