Stanford выложил лекцию Павоне по стереозрению: курс AA274A и бесплатный учебник

Stanford Online опубликовал на YouTube Lecture 10 курса AA274A «Principles of Robotic Autonomy» о стереозрении. Запись сделана осенью 2019 года, то есть материалу семь лет. Лекцию читает Марко Павоне, доцент кафедры аэронавтики и астронавтики Stanford и старший директор по исследованиям автономных транспортных средств в NVIDIA. Раньше он работал в Jet Propulsion Laboratory NASA. Новостью это можно назвать только условно: свежих результатов в ролике нет. Но для тех, кто входит в робототехнику, это бесплатный разбор базовой темы от человека, который сейчас занимается автономным вождением в индустрии.

Что известно о самой записи

Описание лекции короткое. Там указаны название, лектор, ссылки на учебник и расписание. Подробного списка тем нет, поэтому пересказывать содержание по минутам было бы выдумкой. Stanford сам оговаривает: структура курса, задания и материалы с 2019 года могли измениться, а ссылки ведут на актуальную версию. К видео стоит относиться как к архивной записи, а за свежей программой идти на сайт stanfordasl.github.io/PoRA-I.

Учебник Principles of Robot Autonomy доступен бесплатно на porabook.com. Это редкий случай, когда университетский курс по робототехнике собран в открытый комплект из лекций, книги и расписания.

Зачем роботу два глаза

Стереозрение решает задачу оценки глубины по паре изображений с двух разнесённых камер. Классическая формула для выровненной пары: Z = f·B / d. Здесь Z — расстояние до точки, f — фокусное расстояние в пикселях, B — база между камерами, d — диспаритет, то есть сдвиг точки между левым и правым кадром.

Пример для наглядности (числа условные, не из лекции): f = 700 пикселей, B = 12 см, d = 10 пикселей. Тогда Z = 700 × 0,12 / 10 = 8,4 м. Ошибка в один пиксель диспаритета даёт погрешность порядка Z² / (f·B), то есть около 0,84 м на этой дистанции. Погрешность растёт квадратично с расстоянием, поэтому стереопары хорошо работают вблизи и хуже вдали. Из этого следует, что увеличивать базу и разрешение стоит прежде всего тогда, когда нужна дальность.

Ключевые понятия темы

Обычно стереозрение в курсах по автономии разбирают через несколько блоков. Это общая схема предметной области, а не программа конкретной лекции:

• эпиполярная геометрия: соответствующая точка во втором кадре лежит на известной прямой;
• ректификация: приведение пары к виду, где эти прямые горизонтальны;
• поиск соответствий: сопоставление блоков или признаков между кадрами;
• карта диспаритета и пересчёт её в облако точек;
• влияние базы, фокуса и разрешения на точность глубины.

Самое тонкое место здесь — поиск соответствий. Однородные стены, блики и повторяющиеся текстуры ломают сопоставление, и глубина в таких областях получается шумной или пропадает.

Как использовать материал

Если вы только начинаете в робототехнике, смотрите лекцию вместе с соответствующей главой учебника. Формулы лучше сразу проверять на коде: возьмите открытую стереопару, например из датасета KITTI, и постройте карту диспаритета средствами OpenCV. Затем поменяйте параметры сопоставления и посмотрите, как ломается результат на гладких поверхностях.

Учтите возраст записи. С 2019 года в зрении для автономных систем многое сместилось в сторону обучаемых моделей, но геометрия остаётся прежней: формулы глубины и источники ошибок не устарели. Для практики это полезная опора, чтобы оценивать, откуда берутся ошибки в любой современной системе, будь то нейросетевой стерео-пайплайн или камера на роботе.