Stanford publica aula de Pavone sobre visão estéreo: curso AA274A e livro didático gratuito

A Stanford Online publicou no YouTube a Lecture 10 do curso AA274A «Principles of Robotic Autonomy», sobre visão estéreo. A gravação foi feita no outono de 2019, ou seja, o material tem sete anos. A aula é de Marco Pavone, professor assistente do Departamento de Aeronáutica e Astronáutica da Stanford e diretor sênior de pesquisa em veículos autônomos na NVIDIA. Antes, ele trabalhou no Jet Propulsion Laboratory da NASA. Chamar isso de notícia é um exagero: o vídeo não traz resultados novos. Mas, para quem está entrando na robótica, é uma explicação gratuita de um tema básico, dada por alguém que hoje trabalha com direção autônoma na indústria.

O que se sabe sobre a gravação

A descrição da aula é curta. Traz o título, o professor e os links para o livro e para a programação. Não há uma lista detalhada de tópicos, então resumir o conteúdo minuto a minuto seria inventar. A própria Stanford ressalva que a estrutura do curso, as tarefas e os materiais podem ter mudado desde 2019, e que os links levam à versão atual. O vídeo deve ser tratado como um registro de arquivo; para o programa atualizado, o caminho é o site stanfordasl.github.io/PoRA-I.

O livro Principles of Robot Autonomy está disponível gratuitamente em porabook.com. É um caso raro em que um curso universitário de robótica foi reunido num kit aberto, com aulas, livro e programação.

Por que um robô precisa de dois olhos

A visão estéreo estima a profundidade a partir de um par de imagens captadas por duas câmeras separadas por uma certa distância. A fórmula clássica para um par alinhado é Z = f·B / d. Aqui, Z é a distância até o ponto, f é a distância focal em pixels, B é a linha de base entre as câmeras e d é a disparidade, ou seja, o deslocamento do ponto entre o quadro esquerdo e o direito.

Um exemplo ilustrativo (números hipotéticos, não são da aula): f = 700 pixels, B = 12 cm, d = 10 pixels. Então Z = 700 × 0,12 / 10 = 8,4 m. Um erro de um pixel na disparidade gera uma imprecisão da ordem de Z² / (f·B), isto é, cerca de 0,84 m nessa distância. O erro cresce de forma quadrática com a distância, por isso pares estéreo funcionam bem de perto e pior de longe. Daí se conclui que aumentar a linha de base e a resolução vale a pena sobretudo quando o objetivo é alcance.

Conceitos-chave do tema

Em cursos de autonomia, a visão estéreo costuma ser dividida em alguns blocos. Este é um esquema geral da área, não o programa de uma aula específica:

• geometria epipolar: o ponto correspondente no segundo quadro está sobre uma reta conhecida;
• retificação: transformação do par para uma forma em que essas retas ficam horizontais;
• busca de correspondências: associação de blocos ou características entre os quadros;
• mapa de disparidade e sua conversão em nuvem de pontos;
• influência da linha de base, do foco e da resolução na precisão da profundidade.

O ponto mais delicado é a busca de correspondências. Paredes homogêneas, reflexos e texturas repetitivas atrapalham a associação, e a profundidade nessas regiões fica ruidosa ou desaparece.

Como usar o material

Se você está começando em robótica, assista à aula junto com o capítulo correspondente do livro. O melhor é testar as fórmulas no código logo de cara: pegue um par estéreo aberto, por exemplo do dataset KITTI, e gere o mapa de disparidade com OpenCV. Depois, altere os parâmetros de correspondência e veja como o resultado se degrada em superfícies lisas.

Leve em conta a idade da gravação. Desde 2019, a visão para sistemas autônomos migrou em boa parte para modelos treinados, mas a geometria continua a mesma: as fórmulas de profundidade e as fontes de erro não ficaram obsoletas. Na prática, isso serve de base para entender de onde vêm os erros em qualquer sistema moderno, seja um pipeline estéreo com redes neurais ou uma câmera num robô.