FocusVLA apprend au robot à choisir sa caméra selon l'étape de la tâche : +13,3 pp en conditions réelles

Un bras robotisé équipé de plusieurs caméras doit voir à la fois la scène entière et ce qui se passe au niveau de la pince. Mais, comme l'ont constaté les chercheurs du Technology Center of Software Engineering de l'ISCAS, les modèles VLA actuels exploitent ces points de vue de façon très déséquilibrée. Leur nouveau système, FocusVLA, ajoute en moyenne 10,10 points de pourcentage de réussite sur RoboTwin 2.0 par rapport à π0.5, le meilleur modèle de référence, et fait passer le résultat de 71,7% à 85,0% lors d'expériences réelles. Les travaux ont été acceptés à la conférence CoRL 2026.

Une politique qui ne regarde que le poignet

Les modèles vision-language-action réunissent perception visuelle, compréhension du langage et génération d'actions dans une seule politique. Pour saisir un objet de façon fiable, il faut observer l'objet, l'organe terminal et leur position relative. C'est pourquoi les robots reçoivent plusieurs caméras à la fois : une caméra d'ensemble et une caméra locale fixée au poignet. L'hypothèse de départ est que les deux vues se complètent.

Les auteurs de FocusVLA ont vérifié si c'était vrai en pratique, et la réponse est décevante. Les VLA existants n'exploitent pas pleinement la complémentarité des vues. La politique s'accroche obstinément à la caméra du poignet et ne rééquilibre pas la vue globale et la vue locale au fil de la tâche. Or, aux différentes étapes d'une manipulation, l'information utile n'est pas la même. Pendant l'approche de l'objet, la vue d'ensemble de la scène est précieuse. Juste avant le contact, ce sont les détails au niveau de la pince qui comptent le plus. À force de rester collée à un seul point de vue, la politique perd en adaptation aux étapes et en robustesse.

L'intention plutôt qu'un schéma rigide

FocusVLA est un framework de routage des vues qui tient compte de l'étape de la tâche (stage-aware). Le système prend l'historique des actions déjà exécutées et en déduit l'intention d'interaction à venir, c'est-à-dire ce que le robot s'apprête à faire ensuite. Cette prédiction pilote le routage dynamique des vues pendant la génération des actions. Le modèle décide lui-même quel point de vue privilégier à chaque instant et aligne les observations globales et locales aux différentes étapes de la tâche.

Un détail d'ingénierie important : le module de prédiction d'intention et le module de routage dynamique peuvent être intégrés à des frameworks VLA existants sans modifier leur architecture de base. On se rapproche davantage d'un plugin que d'un nouveau modèle construit de zéro.

Ce que montrent les mesures

Les chiffres de l'étude :

• RoboTwin 2.0 : taux de réussite moyen supérieur de 10,10 pp à celui de π0.5, le meilleur baseline • Expériences réelles : le taux de réussite passe de 71,7% à 85,0% • Écart avec π0.5 dans les tests réels : 13,3 pp • Acceptation : CoRL 2026 • Auteurs : Huixin Xu, Ziya Yu, Peng Li • Organisation : Technology Center of Software Engineering of ISCAS • Preprint : arXiv 2610.31423

Le gain sur robot réel est même supérieur à celui obtenu en simulation. Dans un domaine où l'écart entre benchmark et monde physique est traditionnellement douloureux, c'est un signal important. Il faut toutefois garder en tête que le modèle de référence retenu est π0.5, l'un des modèles VLA ouverts les plus en vue, et que c'est précisément face à lui que FocusVLA l'emporte. La comparaison avec d'autres politiques et le détail par tâche restent à vérifier dans le texte complet de l'article.

À quoi cela peut servir en pratique

L'observation des auteurs concerne toute équipe qui entraîne des politiques de manipulation sur plusieurs caméras. Si le modèle ignore systématiquement la vue d'ensemble, ajouter une deuxième ou une troisième caméra augmente le coût du banc d'essai et le volume de données, sans presque rien apporter. Un simple contrôle de la vue sur laquelle s'appuie la politique à chaque étape permet de savoir si votre système souffre du même défaut.

Le second enseignement pratique concerne la compatibilité. Puisque les modules s'intègrent aux VLA existants sans toucher au cœur, on peut les tester sur une architecture déjà entraînée, sans reconstruire tout le pipeline. Pour l'industrie des robots d'entrepôt et d'assemblage, où la stabilité sur de longues opérations multi-étapes compte plus que les records sur des démos isolées, cette logique paraît tenir la route.

Pour l'instant, la page de l'article ne renvoie à aucun modèle, jeu de données ni espace de démonstration associé. La vérification indépendante des résultats dépend donc de la publication éventuelle du code par les auteurs. Mais l'idée même que l'intention du robot détermine où il doit regarder semble une suite naturelle pour les VLA à entrées multicaméras.