SERA dote un planificateur VLM d'auto-évolution : le robot atteint 51,38% sur RoboMME

Une équipe de chercheurs présente SERA (Self-Evolving Robotic Agent), un système où un modèle vision-langage de haut niveau fonctionne comme un véritable agent robotique, tandis qu'un exécuteur VLA figé assure le contrôle de bas niveau. L'élément clé est un « harnais » (harness) modifiable, qui stocke le contexte de la tâche et se réécrit au fil du temps à partir de l'expérience. Sur le benchmark RoboMME, SERA avec sélection autonome de la configuration atteint 51,38% de réussite globale, contre 44,38% sans auto-évolution. L'écart est de 7 points de pourcentage exactement, soit environ 16% de gain relatif.

Pourquoi un coup d'œil à la scène ne suffit pas au robot

Les modèles VLA se montrent efficaces en manipulation, car ils réunissent compréhension visuelle, instructions en langage naturel et génération d'actions dans une seule politique. Les difficultés commencent sur les longs horizons. Les décisions y dépendent souvent de l'historique : ce qui a déjà été fait, quelle étape a échoué, où a été posé un objet que la caméra ne voit plus. Ce sont des dépendances non markoviennes, que l'image courante ne transmet pas.

S'y ajoutent l'observabilité partielle et l'accumulation des erreurs d'exécution. Un petit raté à la troisième étape devient, à la dixième, l'échec de toute la tâche. Le secteur explore déjà deux pistes : ajouter de la mémoire aux politiques fondées sur des foundation models, et construire des hiérarchies où la planification est séparée de l'exécution. SERA combine les deux approches et va plus loin.

Un harnais qui se réécrit tout seul

Les auteurs organisent le VLM de haut niveau en agent. Autour de lui, un harnais modifiable maintient le contexte de la tâche : progression, résultats des interactions passées, observations. Le harnais se met à jour à partir des observations et des retours d'exécution, et ces données actualisées guident l'étape de planification suivante. L'exécuteur VLA, lui, n'est pas modifié : il reste figé.

L'auto-évolution repose sur des essais dans l'environnement. Le système propose des révisions du harnais, les évalue sur des rollouts et retient la meilleure configuration. La variante choisie est figée avant le test sur un jeu de données mis de côté. Ce détail compte : le chiffre final n'est pas ajusté aux tâches de test, et le choix se fait de manière autonome, sans réglage manuel pour le benchmark.

Principaux paramètres de l'étude :

• Architecture : un agent VLM de haut niveau, plus un exécuteur VLA de bas niveau inchangé.
• Partie modifiable : un harness contenant le contexte de la tâche, mis à jour selon les observations et les retours.
• Mécanisme d'amélioration : proposition et évaluation de révisions sur des rollouts dans l'environnement.
• Protocole : la configuration est choisie et figée avant le test held-out.
• Benchmark : RoboMME, des tâches qui dépendent de l'historique.
• Résultat : 51,38% avec sélection autonome, contre 44,38% sans auto-évolution.

Où se situe l'intérêt pratique

Le principal enseignement pour les équipes qui travaillent avec des robots : une partie du gain peut s'obtenir sans réentraîner le VLA. Si l'exécuteur est gelé, les améliorations passent par la couche de planification et de mémoire. Celle-ci se versionne, se restaure et se vérifie plus facilement que les poids d'une grande politique. Pour les entreprises qui disposent déjà d'un modèle VLA, c'est une voie moins coûteuse qu'un nouveau cycle de collecte de démonstrations et de fine-tuning.

Le schéma montre aussi comment des idées du monde des agents de code se transposent. Là-bas, le harnais autour du modèle, c'est-à-dire les instructions, la mémoire et les outils, est depuis longtemps reconnu comme une source de qualité à part entière. SERA applique le même principe aux tâches physiques et y ajoute une recherche automatique de la meilleure version du harnais.

Les limites ressortent aussi des chiffres eux-mêmes. Avec 51,38%, environ la moitié des épisodes sur RoboMME se solde encore par un échec. Un gain de 7 points confirme la direction, mais ne règle pas le problème des tâches longues. Les auteurs formulent eux-mêmes leur conclusion avec prudence : la planification agentique semble une voie prometteuse pour les manipulations qui dépendent de l'historique. Pour les praticiens, la question suivante est de savoir comment cette approche se comportera avec d'autres exécuteurs et dans des scènes réelles, non simulées, où les erreurs d'exécution coûtent plus cher.