PAIR relie vision et action dans les VLA : le taux de réussite d'OpenVLA-OFT passe de 51,4% à 65%

L'équipe derrière PAIR propose de rendre explicite une étape que la plupart des modèles VLA à actions continues escamotent : le passage de la représentation de la scène et de l'instruction à une représentation à partir de laquelle on peut générer des mouvements. Sur le benchmark LIBERO-Plus, le taux de réussite de VLA-Adapter passe de 59,1% à 64,2%. Sur CALVIN, la longueur moyenne des chaînes de tâches réalisées monte de 4,42 à 4,53. Sur sept tâches réelles, OpenVLA-OFT gagne 13,6 points de pourcentage : de 51,4% à 65,0%.

Le problème traité par ce travail est bien connu de ceux qui suivent la robotique fondée sur les grands modèles. Un VLA reçoit une image et une instruction textuelle, et doit produire en sortie des actions continues : la trajectoire du bras, la position de la pince. Le backbone vision-langage décrit bien ce qui se trouve sur la table et ce que demande l'utilisateur. Mais des caractéristiques commodes pour décrire ne conviennent pas forcément au contrôle. Dans de nombreuses architectures, ce pont reste implicite et ne s'apprend que via l'erreur finale de prédiction des actions.

Comment fonctionne PAIR

Les auteurs introduisent une représentation intermédiaire commune à la perception et à l'action. À l'entraînement, un Masked Action Autoencoder encode des chunks d'actions expertes en Action Latent Tokens, alignés sur l'horizon de planification. En parallèle, un Bridge Module extrait des représentations vision-langage courantes les caractéristiques utiles à la tâche. PAIR aligne ensuite ces caractéristiques sur les tokens latents d'actions. Il en résulte des Bridge Tokens : ils conservent l'information sur la tâche tout en reflétant la structure des mouvements experts.

Les Bridge Tokens sont ensuite projetés dans l'espace des tokens d'actions et mélangés aux Action Tokens initiaux. L'Action Expert, chargé d'affiner les actions, ne part plus de zéro : il démarre d'une ébauche proche de la trajectoire recherchée. À l'inférence, l'autoencodeur est retiré : les Bridge Tokens sont construits uniquement à partir de l'observation courante et de l'instruction. Aucune annotation supplémentaire ni action experte n'est nécessaire au moment de l'exécution.

• Modèles de base utilisés dans les expériences : OpenVLA-OFT et VLA-Adapter.
• Benchmarks : LIBERO, LIBERO-Plus, CALVIN ABC-D.
• LIBERO-Plus, VLA-Adapter : 59,1% → 64,2% (+5,1 pt).
• CALVIN, VLA-Adapter : longueur moyenne des chaînes 4,42 → 4,53.
• Sept tâches réelles, OpenVLA-OFT : 51,4% → 65,0% (+13,6 pt).

Ce que montrent les expériences

En simulation, les gains restent modestes. Sur CALVIN, la longueur moyenne des chaînes augmente de 0,11 étape, soit environ 2,5% en relatif par rapport à la base. Sur LIBERO-Plus, la hausse est plus nette : 5,1 points, soit environ 8,6% en relatif. Les tâches réelles donnent l'effet le plus fort, environ 26% en relatif par rapport aux 51,4% de départ. Mais l'échantillon est réduit : sept tâches et un seul modèle dans ce test. Il est donc trop tôt pour conclure avec assurance à une transférabilité à d'autres plateformes et conditions.

Les auteurs ont par ailleurs analysé les représentations. Selon eux, les Bridge Tokens conservent l'information sur la tâche et rendent l'information sur les actions continues accessible avant même l'étape d'affinage dans l'Action Expert. Cela étaye indirectement l'idée de départ : une couche intermédiaire entre perception et action est utile comme interface explicite, et non comme simple sous-produit de l'entraînement. Le travail est publié dans Hugging Face Daily Papers ; il n'existe pas encore de reproduction indépendante.

Que retenir pour les praticiens

L'approche ressemble à une surcouche plutôt qu'à une nouvelle architecture conçue de zéro. Le test sur deux VLA de base différents montre que PAIR peut s'intégrer à des modèles existants dotés d'un Action Expert. Comme l'autoencodeur n'est utilisé qu'à l'entraînement, le coût d'inférence n'augmente presque pas, d'après la description : seule s'ajoute la génération des Bridge Tokens à partir de l'observation courante.

Les équipes qui affinent OpenVLA-OFT ou VLA-Adapter sur leurs propres tâches ont intérêt à tester l'idée sur leurs données. Il vaut mieux commencer par les scénarios réels, là où l'écart entre simulation et matériel se fait le plus sentir. La question centrale pour les prochains travaux : le gain se maintiendra-t-il sur des horizons plus longs, avec un changement de manipulateur et sur des tâches hors de la distribution d'entraînement ?