Stanford met en ligne la leçon de Pavone sur la vision stéréo : cours AA274A et manuel gratuit

Stanford Online a publié sur YouTube la Lecture 10 du cours AA274A « Principles of Robotic Autonomy », consacrée à la vision stéréo. L'enregistrement date de l'automne 2019 : le contenu a donc sept ans. La leçon est donnée par Marco Pavone, professeur associé au département d'aéronautique et d'astronautique de Stanford et directeur senior de la recherche sur les véhicules autonomes chez NVIDIA. Il a auparavant travaillé au Jet Propulsion Laboratory de la NASA. Difficile de parler d'actualité au sens strict : la vidéo ne contient aucun résultat récent. Mais pour ceux qui découvrent la robotique, c'est une présentation gratuite d'un sujet fondamental, par quelqu'un qui travaille aujourd'hui sur la conduite autonome dans l'industrie.

Ce que l'on sait de l'enregistrement

La description de la leçon est courte. Elle indique le titre, l'intervenant, ainsi que les liens vers le manuel et le calendrier. Elle ne contient pas de liste détaillée des sujets abordés : résumer le contenu minute par minute reviendrait donc à l'inventer. Stanford précise lui-même que la structure du cours, les devoirs et les supports ont pu changer depuis 2019, et que les liens pointent vers la version actuelle. Mieux vaut considérer la vidéo comme une archive et consulter le programme à jour sur stanfordasl.github.io/PoRA-I.

Le manuel Principles of Robot Autonomy est disponible gratuitement sur porabook.com. C'est un cas rare : un cours universitaire de robotique réuni en un ensemble ouvert comprenant leçons, livre et calendrier.

Pourquoi un robot a besoin de deux yeux

La vision stéréo estime la profondeur à partir d'une paire d'images prises par deux caméras espacées. Pour une paire rectifiée (alignée), la formule classique est : Z = f·B / d. Ici, Z est la distance au point, f la focale en pixels, B la base (l'écart entre les caméras) et d la disparité, c'est-à-dire le décalage du point entre l'image gauche et l'image droite.

Un exemple pour fixer les idées (les valeurs sont fictives et ne viennent pas de la leçon) : f = 700 pixels, B = 12 cm, d = 10 pixels. On obtient alors Z = 700 × 0,12 / 10 = 8,4 m. Une erreur d'un pixel sur la disparité entraîne une erreur de l'ordre de Z² / (f·B), soit environ 0,84 m à cette distance. L'erreur croît donc de façon quadratique avec la distance : les paires stéréo fonctionnent bien de près et moins bien de loin. Il en découle qu'augmenter la base et la résolution est surtout utile lorsqu'il faut gagner en portée.

Les notions clés du sujet

Dans les cours sur l'autonomie, la vision stéréo se décompose en général en plusieurs blocs. Il s'agit d'un schéma général du domaine, et non du programme de cette leçon précise :

• géométrie épipolaire : le point correspondant dans la seconde image se trouve sur une droite connue ;
• rectification : transformation de la paire pour que ces droites deviennent horizontales ;
• recherche de correspondances : mise en correspondance de blocs ou de points caractéristiques entre les images ;
• carte de disparité et conversion de celle-ci en nuage de points ;
• influence de la base, de la focale et de la résolution sur la précision de la profondeur.

Le point le plus délicat est la recherche de correspondances. Les murs uniformes, les reflets et les textures répétitives perturbent la mise en correspondance : dans ces zones, la profondeur est bruitée ou disparaît.

Comment utiliser ce contenu

Si vous débutez en robotique, regardez la leçon en parallèle du chapitre correspondant du manuel. Il vaut mieux vérifier immédiatement les formules avec du code : prenez une paire stéréo ouverte, par exemple issue du jeu de données KITTI, et construisez la carte de disparité avec OpenCV. Modifiez ensuite les paramètres de mise en correspondance et observez comment le résultat se dégrade sur les surfaces lisses.

Gardez en tête l'âge de l'enregistrement. Depuis 2019, la vision pour les systèmes autonomes s'est largement tournée vers les modèles entraînés, mais la géométrie reste la même : les formules de profondeur et les sources d'erreur n'ont pas vieilli. En pratique, c'est un point d'appui utile pour comprendre d'où viennent les erreurs de n'importe quel système moderne, qu'il s'agisse d'un pipeline stéréo neuronal ou d'une caméra montée sur un robot.