Stanford publica la lección de Pavone sobre visión estéreo: el curso AA274A y un libro de texto gratuito

Stanford Online ha publicado en YouTube la Lecture 10 del curso AA274A «Principles of Robotic Autonomy», dedicada a la visión estéreo. La grabación es de otoño de 2019, así que el material tiene siete años. La lección la imparte Marco Pavone, profesor asociado del Departamento de Aeronáutica y Astronáutica de Stanford y director sénior de investigación en vehículos autónomos de NVIDIA. Antes trabajó en el Jet Propulsion Laboratory de NASA. Solo con reservas puede llamarse noticia: el vídeo no contiene resultados nuevos. Pero para quien se inicia en la robótica es una explicación gratuita de un tema básico, a cargo de alguien que hoy trabaja en conducción autónoma en la industria.

Qué se sabe de la grabación

La descripción de la lección es breve. Indica el título, el ponente y los enlaces al libro y al calendario. No incluye una lista detallada de temas, por lo que resumir el contenido minuto a minuto sería inventar. Stanford aclara por su parte que la estructura del curso, las tareas y los materiales pueden haber cambiado desde 2019, y que los enlaces apuntan a la versión vigente. Conviene tratar el vídeo como una grabación de archivo y consultar el programa actualizado en stanfordasl.github.io/PoRA-I.

El libro Principles of Robot Autonomy está disponible gratis en porabook.com. Es poco habitual que un curso universitario de robótica se ofrezca como un conjunto abierto de lecciones, libro y calendario.

Por qué un robot necesita dos ojos

La visión estéreo estima la profundidad a partir de un par de imágenes tomadas por dos cámaras separadas. La fórmula clásica para un par rectificado es Z = f·B / d. Aquí Z es la distancia al punto, f es la distancia focal en píxeles, B es la línea base entre las cámaras y d es la disparidad, es decir, el desplazamiento del punto entre el fotograma izquierdo y el derecho.

Un ejemplo ilustrativo (los números son hipotéticos, no proceden de la lección): f = 700 píxeles, B = 12 cm, d = 10 píxeles. Entonces Z = 700 × 0,12 / 10 = 8,4 m. Un error de un píxel en la disparidad produce un error del orden de Z² / (f·B), es decir, unos 0,84 m a esa distancia. El error crece de forma cuadrática con la distancia, por eso los pares estéreo funcionan bien de cerca y peor de lejos. De ahí se deduce que ampliar la línea base y la resolución compensa sobre todo cuando se necesita más alcance.

Conceptos clave del tema

En los cursos de autonomía, la visión estéreo suele abordarse en varios bloques. Es un esquema general del área, no el programa de una lección concreta:

• geometría epipolar: el punto correspondiente en el segundo fotograma se encuentra sobre una recta conocida;
• rectificación: transformar el par para que esas rectas sean horizontales;
• búsqueda de correspondencias: emparejar bloques o características entre fotogramas;
• mapa de disparidad y su conversión en una nube de puntos;
• influencia de la línea base, la focal y la resolución en la precisión de la profundidad.

El punto más delicado es la búsqueda de correspondencias. Las paredes uniformes, los reflejos y las texturas repetitivas rompen el emparejamiento, y en esas zonas la profundidad sale ruidosa o directamente desaparece.

Cómo aprovechar el material

Si está empezando en robótica, vea la lección junto con el capítulo correspondiente del libro. Conviene comprobar las fórmulas con código de inmediato: tome un par estéreo abierto, por ejemplo del dataset KITTI, y construya el mapa de disparidad con OpenCV. Después cambie los parámetros de emparejamiento y observe cómo se degrada el resultado en superficies lisas.

Tenga en cuenta la antigüedad de la grabación. Desde 2019, buena parte de la visión para sistemas autónomos se ha desplazado hacia los modelos entrenables, pero la geometría sigue siendo la misma: las fórmulas de profundidad y las fuentes de error no han quedado obsoletas. En la práctica es un buen punto de apoyo para entender de dónde vienen los errores en cualquier sistema moderno, ya sea un pipeline estéreo basado en redes neuronales o la cámara de un robot.