Une revue de 200 travaux passe en revue l'apprentissage des affordances en IA incarnée

Des chercheurs ont réuni dans une seule revue près de 200 travaux sur l'apprentissage des affordances en intelligence incarnée, rapporte Jiqizhixin. Le sujet se situe dans l'écart entre la phrase « le modèle voit une tasse » et l'action « le manipulateur la saisit par l'anse ». L'affordance répond à trois questions : que peut-on toucher dans la scène, à quel endroit, et de quelle manière.

L'écart entre compréhension de la scène et action

Ces dernières années, la robotique a reçu coup sur coup plusieurs outils puissants : les modèles vision-langage-action (VLA), les modèles du monde, les modèles de fondation multimodaux et les promesses de robots généralistes. Les machines analysent déjà des instructions complexes et génèrent des trajectoires continues sur un nombre croissant de tâches.

Mais reconnaître un objet ne dit pas par quelle partie le saisir. La poignée d'une casserole et son couvercle appartiennent à la même classe « casserole », alors que les gestes à effectuer sont différents. Un couteau a un côté sans danger et un côté tranchant. D'après l'introduction, les auteurs de la revue y voient le problème central resté sans solution : le robot doit non seulement savoir ce qu'il a devant lui, mais aussi comprendre ce qu'il peut exploiter concrètement, où appliquer une force et comment.

L'affordance en pratique

Le terme a été introduit en 1979 par le psychologue James Gibson : une affordance est une possibilité d'action que l'environnement offre à un agent donné. En robotique, on la transforme en une représentation que l'on peut entraîner et transmettre à un planificateur ou à une politique.

Voici les formes typiques que prend cette représentation dans le domaine. Il s'agit d'un panorama général du sujet, et non d'un résumé de la taxonomie de la revue : celle-ci ne figure pas dans le fragment disponible.

• Niveau objet : quels objets se prêtent à une action (une bouilloire pour verser, une porte pour ouvrir).
• Niveau spatial : un point, un masque ou une carte de chaleur sur l'image, une région 3D dans un nuage de points.
• Niveau interaction : poses de préhension, direction de la force, trajectoire du mouvement.
• Niveau sémantique : lien entre une commande en langage naturel et une partie de l'objet (« ouvrir le tiroir » renvoie à la poignée).
• Sources d'apprentissage : annotation manuelle, vidéos d'actions humaines, simulation, indications fournies par des VLM et des LLM.
• Ampleur de la revue : environ 200 travaux.

Pourquoi le sujet passe au premier plan

Les affordances sont apparues en robotique bien avant l'engouement actuel. Dans SayCan (2022), un modèle de langage proposait des étapes, tandis que des estimations de faisabilité des compétences écartaient ce que le robot ne peut pas exécuter dans l'environnement du moment. Les modèles VLA de bout en bout comme RT-2, OpenVLA et π0 suivent une autre voie : ils apprennent directement à produire des actions à partir d'une image et d'un texte.

L'affordance explicite, utilisée comme couche intermédiaire, a des arguments clairs. On peut la visualiser et la vérifier. Selon de nombreux spécialistes du domaine, elle aide à transférer des compétences entre différents objets et différentes conceptions de robots. Et elle fournit un point d'ancrage pour la géométrie et la physique. Reste à savoir si cela suffit face à l'apprentissage de bout en bout sur de gros volumes de démonstrations : la question est ouverte. Une bonne revue sert justement à voir où les approches convergent et où elles se font concurrence.

Comment tirer parti de la revue

Le fragment disponible n'expose que la problématique : il est donc trop tôt pour juger de la classification, des benchmarks et des conclusions des auteurs. Il faut lire l'original.

Les équipes qui conçoivent des systèmes de manipulation gagneraient à vérifier trois points :

• Quelle représentation de l'affordance convient à votre tâche : point et masque pour la manipulation sur table, ou pose et trajectoire pour les opérations fines.
• Comment la qualité est mesurée. La précision de localisation de la zone et le succès réel de l'action sur le robot donnent des images différentes, et il est risqué de choisir sur une seule métrique.
• D'où viennent les données. Les vidéos de personnes se multiplient à bas coût, mais la transférabilité vers la main d'un robot donné et l'écart entre simulation et réalité devront être vérifiés séparément.

Pour ceux qui découvrent le sujet, une telle revue fait gagner des semaines de recherche : elle montre quelles tâches sont déjà résolues et où l'IA incarnée garde des lacunes entre perception et action.