PhysRSI-eval mesure comment les agents VLM apprennent de leurs erreurs sur 18 tâches de manipulation

Les auteurs d'un article publié sur Hugging Face Daily Papers proposent PhysRSI-eval, un ensemble de métriques pour évaluer l'auto-amélioration récursive physique (RSI) des agents fondés sur des VLM. Le principe est simple : confier à un modèle 18 tâches de manipulation, limiter le nombre d'interactions avec le monde et observer comment l'agent apprend de ses propres échecs. La conclusion dérange les classements habituels. Deux systèmes dont le score moyen est presque identique sur les benchmarks publics peuvent se comporter de façon totalement différente dans une boucle physique.

Cinq axes plutôt qu'un seul score

Un benchmark classique répond à la question « le modèle y est-il arrivé ? ». PhysRSI-eval demande à quelle vitesse et jusqu'où un agent peut s'améliorer. La métrique se décompose pour cela en cinq composantes :

• First-Attempt Performance : le résultat dès la première tentative, avant tout retour d'information ;
• Efficiency : la sobriété avec laquelle l'agent dépense ses tentatives pour réussir ;
• Success : la part finale de tâches résolues ;
• Budget : le nombre d'interactions avec l'environnement utilisées sur la limite fixée ;
• Improvement from failure : le gain de qualité après des tours ratés.

L'intérêt pratique de cette séparation tient à ce qu'un Success final élevé n'implique pas nécessairement des améliorations précoces ou efficaces. Un agent peut atteindre un bon résultat en épuisant tout son budget, ou obtenir un résultat correct presque immédiatement, puis s'arrêter là. Pour un robot réel, où chaque tentative coûte du temps, de l'usure et parfois des objets cassés, ce sont deux profils de risque différents.

L'hypothèse du tonneau et la prédiction à partir des premières tentatives

À partir de leurs expériences, les auteurs formulent la Physical Barrel Hypothesis. Le nom renvoie au tonneau de Liebig : c'est la planche la plus basse qui fixe le niveau de l'eau. Ici, les planches sont les capacités du modèle, et chacune limite une partie différente de l'amélioration. L'une gouverne la qualité de la première tentative, une autre la capacité à tirer une leçon d'un échec.

Les auteurs étudient par ailleurs le passage à l'échelle observationnel (observational scaling) sous deux angles. Le premier consiste à prédire la performance relative des agents VLM à partir de leurs capacités publiques. Le second consiste à anticiper les progrès tardifs à partir des premiers retours physiques. Ensemble, ces deux volets répondent à la question de la vitesse et de l'ampleur de l'amélioration possible d'un agent. L'abstract ne donne ni coefficients ni paramètres précis pour ces dépendances : la fiabilité de la prédiction ne pourra donc se juger que sur le texte complet de l'étude.

La seconde partie de l'étude porte sur des interventions dans l'espace de travail de l'agent, c'est-à-dire ce qui subsiste après les tours d'amélioration. Elle livre trois résultats :

• supprimer l'historique réduit le succès dans les derniers tours, ce qui montre que le contexte accumulé joue réellement un rôle ;
• les espaces de travail gelés restent utiles sur des configurations de scène inconnues ;
• dans trois cas inter-tâches, le succès arrive plus tôt.

Les auteurs tirent une conclusion prudente : l'adaptation à une scène donnée et l'expérience réutilisable peuvent coexister. Autrement dit, ce que l'agent accumule ne reste pas forcément « collé » à une seule disposition de la table.

Ce que les équipes doivent vérifier en pratique

Pour ceux qui construisent des robots ou des agents sur des VLM, ce travail offre quelques repères concrets. Premièrement, choisir un modèle d'après son score public moyen est risqué : mieux vaut l'évaluer sur le profil à cinq axes, avec vos propres tâches et un budget de tentatives réaliste. Deuxièmement, si les échecs coûteux sont critiques pour vous, regardez First-Attempt Performance et Efficiency, pas seulement le Success final. Troisièmement, conservez l'historique et l'espace de travail d'un tour à l'autre : selon les auteurs, sans historique les résultats tardifs sont moins bons, tandis qu'un espace gelé aide sur de nouvelles configurations.

Les limites sont tout aussi évidentes. Dix-huit tâches de manipulation forment un échantillon étroit, et l'hypothèse du tonneau reste pour l'instant une observation, pas une loi démontrée. Mais le cadrage est utile : il déplace la discussion sur les agents de la question « à quel point le modèle est-il intelligent » vers celle de « comment se comporte-t-il quand il se trompe ».