HyperDrone рендерит миллионы кадров в секунду и обгоняет аналоги в 20 раз

Обучение дронов с зрением упирается не в алгоритмы, а в скорость выдачи картинки. Команда авторов HyperDrone заявляет, что сняла это ограничение: их симулятор квадрокоптеров с пакетным рендерингом более чем в 20 раз быстрее существующих state-of-the-art batch-решений. Рендер-движок HyperLux даже в самых качественных режимах выдаёт миллионы кадров в секунду на обычных потребительских видеокартах. Для проверки авторы обучили политику управления рысканием (yaw) по камере целиком в симуляции и перенесли её на маленький реальный квадрокоптер Crazyflie, где она работает полностью на борту.

Всё на GPU, без пересылок

HyperDrone состоит из двух частей. Первая — сильно оптимизированная динамика мультикоптера. Вторая — HyperLux, новый движок трассировки лучей. Оба компонента исполняются на видеокарте, и для обучения с подкреплением это принципиально. Классическая связка выглядит так: физика считается в одном месте, картинка рисуется в другом, данные ходят между ними, и на этих пересылках теряется львиная доля времени. Когда состояние дронов, рендер и наблюдения живут в памяти GPU, тысячи параллельных сред можно гонять пакетами без лишней возни.

Само по себе ускорение в 20 раз меняет экономику эксперимента. Задача, которая раньше требовала кластера или недель ожидания, может поместиться на одну игровую карту и считаться заметно быстрее. Для лабораторий без больших бюджетов это серьёзный аргумент.

Ray tracing без компромисса по кроссплатформенности

HyperLux поддерживает четыре бэкенда: Nvidia OptiX, Vulkan, Apple Metal и WebGPU. Для академического инструмента набор необычно широкий. Он использует аппаратную трассировку лучей современных GPU, но не привязывает пользователя к одному вендору: код можно запускать и на машине с Nvidia, и на Mac, и теоретически в браузере через WebGPU.

По набору наблюдений движок закрывает почти всё, что нужно роботу с камерой:

• RGB-изображение;
• карта глубины;
• семантическая и инстансная сегментация;
• нормали поверхностей;
• optical flow.

Качество настраивается. Доступны отражения, реалистичное освещение, motion blur, anti-aliasing и физически корректные материалы (PBR). Заявленный результат — миллионы кадров в секунду на потребительских GPU даже в режиме максимальной точности, при этом сцены остаются реалистичными 3D-окружениями.

Crazyflie как тест на реальность

Главная проблема симуляции всегда в sim-to-real gap: политика, блестяще летающая в виртуальном мире, в реальности ломается из-за расхождений в картинке и физике. Фотореализм с отражениями, motion blur и PBR как раз бьёт по визуальной части этого разрыва. Авторы показали, что политика управления рысканием, обученная исключительно в HyperDrone, без дообучения на реальных данных, работает на Crazyflie с камерой. Вычисления идут на самом дроне. Платформа крошечная, с очень скромными ресурсами, так что демонстрация достаточно жёсткая.

Честно говоря, управление одной осью — задача простая, и сложные манёвры в статье не заявлены. Но как доказательство пайплайна «быстрая симуляция, обучение, перенос на железо» этого достаточно.

Кому это пригодится на практике

Первые выгодополучатели — группы, которые учат дронов по визуальным сигналам: навигацию, облёт препятствий, посадку, слежение. Дешёвые карты и кроссплатформенный рендер снижают порог входа, а скорость позволяет перебирать гиперпараметры и конфигурации наград в разы чаще. Разработчикам, которым нужны разные модальности (глубина, сегментация, optical flow), не придётся собирать несколько инструментов.

Для индустрии симуляции в целом это ещё один сигнал: узким местом обучения роботов становится не нейросеть, а генерация данных. Тот, кто научится выжимать из потребительского GPU больше кадров на ватт и на доллар, получает преимущество. HyperDrone ставит заметную планку для квадрокоптеров, и теперь остальным придётся подтягивать свои симуляторы.