Le runtime REA porte le taux de réussite sur LIBERO-Pro à 95,9%, contre 94,7% pour le meilleur agent

Les grands modèles raisonnent bien, mais ils sont trop lents et trop coûteux pour piloter directement un bras manipulateur. Les politiques rapides, comme les modèles VLA et les contrôleurs du corps entier, réagissent en une fraction de seconde, mais généralisent mal. Un groupe d'auteurs de l'Université nationale de Singapour, de UC Berkeley, de l'Université de Tokyo, de l'Université des sciences et technologies de Hong Kong et d'autres centres propose REA (Routed Embodied Agent), un runtime unique où le « cerveau » et le « cervelet » fonctionnent de manière asynchrone. Sur 3000 épisodes de test couvrant 60 tâches LIBERO-Pro, le système atteint 95,9% de réussite et devance le meilleur agent seul, Agents SDK + GPT-6 (94,7%).

Pourquoi l'association « agent + politique rapide » se grippe

Les auteurs commencent par chiffrer le coût d'un agent raisonnant. Un agent de codage a passé en moyenne 43 minutes sur une seule tâche LIBERO, et le pipeline Codex + GPT-6 a englouti 89 millions de tokens d'entrée pour générer les programmes des 60 tâches LIBERO-Pro. Utiliser le modèle comme contrôleur direct ne fonctionne pas non plus : en émettant des tokens isolés ou des actions IK cartésiennes, il n'a résolu que 1 épisode sur 1987 et 0 sur 600. Par ailleurs, les modèles VLA qui dépassent 90% sur le LIBERO classique décrochent nettement sur le jeu perturbé LIBERO-Pro.

Un simple collage des deux niveaux produit deux problèmes typiques. Si l'agent appelle la politique rapide et attend sa réponse, le robot reste à l'arrêt : l'agent-conseiller que le routeur attend coûtait 2,6 secondes par épisode, soit environ 20% du temps de contrôle. Si, à l'inverse, la politique rapide n'appelle l'agent qu'en cas d'erreur, cela n'aide pas : une erreur persistante déclenche le « cerveau » en boucle, tandis que la plupart des échecs ne lèvent aucune exception.

Un routeur à déclenchement sur exceptions n'a escaladé que 6 fois sur 590 épisodes, alors que 166 d'entre eux se sont soldés par un échec. Relancer une exécution est également risqué : si la tâche est déjà résolue, une nouvelle exécution peut en annuler le résultat.

Trois niveaux et une « règle d'or »

REA repose sur une règle : aucune politique en cours d'exécution n'attend le cerveau. Le système comporte trois niveaux. System 2 est l'agent, qui génère des politiques hors ligne ou en ligne, donne des conseils ou rend des verdicts. System 1 est le « routeur incarné » : il ne produit pas d'actions lui-même, mais décide quelle politique lancer et quand faire appel à l'agent. System 0 regroupe les politiques rapides, c'est-à-dire des programmes figés, des modèles VLA ou des contrôleurs du corps entier, qui rendent la main aux frontières des segments (par exemple, un programme est mis en pause tous les 100 pas).

Le routeur s'appuie sur trois mécanismes :

• Route memory. Avant l'évaluation, chaque politique est exécutée sur des épisodes de développement distincts, et l'on enregistre son taux de réussite et son nombre moyen de pas. Au test, le choix de la politique se réduit à une simple recherche dans une table, sans appel à l'agent.
• Judge gate. Lorsqu'une politique rend la main, un modèle visuel faisant office de juge compare en parallèle l'image initiale et l'image courante à l'instruction, et détermine si la tâche est résolue. Si oui, le système s'arrête et ne détériore pas un résultat déjà acquis. Cela permet de repérer les échecs « silencieux », sans exception. Le seuil et le prompt du juge ont été figés avant les tests sur 216 exemples annotés.
• Échelle d'escalade à budget commun. Les politiques suivantes sont lancées à partir de l'état courant, et tous les lancements ainsi que les appels au cerveau consomment un même budget de pas et de temps, de sorte qu'un épisode ne dépasse pas le budget d'une politique seule.

Ce que montrent les expériences

Selon les auteurs, REA est la méthode la plus rapide parmi celles mesurées : elle se place à 1% de l'« oracle rétrospectif », qui choisit après coup la meilleure politique pour chaque tâche. Dans le corps de l'article, le temps de contrôle de REA est inférieur de 17% à celui d'Agents SDK + GPT-6 et de 25% à celui du conseiller bloquant. Dans le résumé, la réduction du temps et du nombre de pas de contrôle est indiquée respectivement à 17% et 25%.

Dans une étude distincte sur RoboTwin 2.0 (50 épisodes propres et 50 épisodes randomisés), REA avec des politiques VLA obtient 84%, et 86% avec VLA et code. Le meilleur modèle VLA seul, MEDex, atteint 80%. Sur BEHAVIOR-1K, le système résout 27 épisodes sur 50, contre 25 pour l'agent basé sur Agents SDK, mais les auteurs notent eux-mêmes que l'écart n'est pas statistiquement significatif. Dans le test sur 200 scènes RoboTwin, le résultat est de 97/200, contre 75/200 pour Codex CLI. Sur le humanoïde réel Unitree G1, le robot s'est approché de la chaise et l'a poussée 8 fois sur 10.

Limites

La plupart des résultats proviennent de simulateurs, et l'expérience réelle se limite à dix essais sur une seule tâche. L'avantage sur LIBERO-Pro est d'environ 1,2 point de pourcentage ; la taille de l'échantillon et les tests statistiques appariés, que les auteurs appliquent, comptent donc. Le pool de politiques reste préparé hors ligne par l'agent, si bien que le coût de génération des programmes ne disparaît pas. Pour les praticiens, la conclusion est toutefois claire : il vaut mieux sortir l'agent coûteux de la boucle de contrôle. Qu'il prépare les politiques à l'avance et serve de juge aux frontières des segments, tandis que le choix de la politique revient à un routeur bon marché doté d'une mémoire des résultats passés.