Stanford Online publie la leçon 8 du cours AA274A sur les capteurs robotiques et la vision par ordinateur

Stanford Online a mis en ligne sur YouTube la leçon 8 du cours AA274A Principles of Robotic Autonomy. L'enregistrement date de l'automne 2019. Marco Pavone y traite des capteurs robotiques et de l'introduction à la vision par ordinateur. Il n'y a ici ni nouveaux résultats ni nouveaux modèles : il s'agit d'un support pédagogique, utile comme socle de base pour ceux qui entrent dans la robotique.

De quoi parle la leçon

Le titre annonce deux blocs. Le premier porte sur les capteurs : comment un robot obtient des données sur le monde et sur son propre état. Dans des cours de ce niveau, on y trouve généralement les caméras, les lidars, les radars, les télémètres à ultrasons, les capteurs inertiels, l'odométrie et la navigation par satellite. Ces capteurs se comparent selon la portée, la résolution, la fréquence de mise à jour, le bruit et le coût. Le second bloc est une introduction à la vision par ordinateur : comment extraire d'une matrice de pixels des informations exploitables pour la navigation et la prise de décision.

La description ne détaille pas le programme seconde par seconde. Les précisions ci-dessus reposent donc sur le titre de la leçon et sur la structure habituelle de ce type d'enseignement, et non sur un résumé de diapositives précises.

Qui donne le cours

Marco Pavone est Associate Professor au département d'aéronautique et d'astronautique de Stanford et Senior Director of Autonomous Vehicle Research chez NVIDIA. Avant l'université, il a travaillé comme Research Technologist dans la section robotique du NASA Jet Propulsion Laboratory.

Ce parcours compte pour le sujet des capteurs. Une voiture autonome dans une rue en ville et un engin dans l'espace n'ont pas les mêmes contraintes d'énergie, de fiabilité et d'environnement. Dans les deux cas, le choix des capteurs est un compromis entre la physique, le prix et les exigences de sécurité.

Ce qu'il faut savoir avant de regarder

Stanford le précise lui-même : la leçon a été enregistrée dans la version 2019 du cours, et la structure, les exercices et les supports ont pu changer. Les liens de la description mènent à la dernière version du cours ; ils peuvent donc ne pas correspondre à ce que montre la vidéo.

Il existe aussi une limite de fond. En 2019, les transformers visuels n'étaient pas encore un standard, et les grands modèles multimodaux n'étaient pas entrés dans les pratiques des roboticiens. Tant que la leçon s'appuie sur des bases classiques, elle reste utile. La physique des capteurs, le bruit, la calibration et la géométrie de la caméra vieillissent lentement. Pour un panorama des approches neuronales modernes en vision, il faudra chercher ailleurs.

Paramètres clés du contenu :

• Cours : AA274A Principles of Robotic Autonomy
• Épisode : leçon 8, Robotic Sensors and Introduction to Computer Vision
• Version : automne 2019
• Intervenant : Marco Pavone, Stanford et NVIDIA
• Manuel : Principles of Robot Autonomy, porabook.com, gratuit
• Programme à jour : stanfordasl.github.io/PoRA-I

Comment utiliser ce contenu

Il est judicieux de regarder la leçon comme une introduction. D'abord l'enregistrement, pour comprendre la logique du passage des capteurs à la vision. Ensuite, une comparaison avec le calendrier actuel du cours, pour voir ce qui a changé dans la présentation. Enfin, la lecture des chapitres correspondants du manuel gratuit : le texte se prête mieux à la révision des formules et des définitions.

Pour les ingénieurs et les équipes produit qui travaillent avec des robots, des drones ou des transports autonomes, c'est l'occasion de vérifier leur propre compréhension des fondamentaux. Quels capteurs équipent le système, et pourquoi ceux-là ? Quels sont leurs angles morts ? Comment le bruit affecte-t-il les modèles de vision en aval (downstream) ? Si ces questions n'ont pas de réponses nettes, la leçon comble une partie des lacunes. Pour les autres, c'est un bon moyen de rafraîchir les bases avant d'étudier des modèles de perception plus récents.