Радарный прогнозировщик UFMF выдаёт 122 FPS и 0,45 mIoU на быстрых объектах nuScenes

Авторы статьи на arXiv представили UFMF (Ultra-Fast Multi-modal Forecaster) — модель, которая в реальном времени прогнозирует, какие участки пространства вокруг беспилотного автомобиля окажутся заняты в ближайшие секунды. На одной RTX 4090 она обрабатывает 122 кадра в секунду, а на датасете nuScenes показывает 0,542 общего mIoU и 0,45 mIoU на «быстрой корзине» — группе объектов с большим смещением. По этой корзине модель на 4,8 процентного пункта опережает недавние мировые модели занятости (mIoU — метрика пересечения предсказанной и реальной области).

Где ломаются лёгкие прогнозировщики

Планировщик беспилотника опирается на карты будущей занятости, чтобы предвидеть столкновения. Если быстрая машина на дальнем горизонте размывается или исчезает с карты, планировщик теряет нужную геометрию, и такой прогноз начинает вредить. Авторы называют этот сбой dynamic blank-collapse — «пустой» провал динамики.

Существующие подходы решают задачу с противоположных сторон. Мировые модели занятости вроде OccWorld, Drive-OccWorld и COME строят плотные 3D-воксели генеративными декодерами и хорошо держат дальний горизонт, но большинство из них работает медленнее 25 FPS, а сильнейшие — на 1–2 FPS. Лёгкие BEV-прогнозировщики (BEV — вид на сцену сверху), например FlashOcc, укладываются в задержку: они считают в 2D и поднимают результат в 3D только на выходе. Зато быстрые объекты у них схлопываются, когда их движение расходится с фоном, скомпенсированным по движению собственного автомобиля.

Три добавки к дешёвому ядру

Вместо равномерного масштабирования архитектуры UFMF сохраняет дешёвое временное ядро — диагональную модель пространства состояний без внимания — и добавляет структуру там, где лёгкие модели обычно проваливаются.

Первая добавка — Velocity-Aware Dynamic Prior (VADP), радарный динамический приор с учётом скорости. Она объединяет разности семантической истории с плотными радарными доплеровскими данными и предсказывает поле смещения для каждой ячейки сетки. Будущее смещение раскладывается на линейную экстраполяцию и обучаемую поправку, зависящую от горизонта. Полученные потоки переносят компактное динамическое подпространство скрытого состояния во время прогноза. Приор добавляется только для классов с заметным движением — машин, грузовиков, автобусов, велосипедов, мотоциклов и пешеходов; базовый предиктор по-прежнему выдаёт все классы, включая фон и статику.

Радар попадает в модель в виде плотной карты, а не сырых отражений: для каждой ячейки BEV усредняется радиальный доплер всех попавших в неё радарных точек, а ячейки без отражений остаются нулевыми. Это параметр-свободное объединение в сетку. Один и тот же радарный поток служит и временным условием для основного пути прогноза, и входом для VADP.

Вторая добавка — супервизия динамики в мировой системе координат. Предсказанная и целевая занятость сравниваются в общей системе, поэтому штрафуются траектории, которые выглядят правдоподобно на каждом горизонте, но несогласованны во времени. Будущие позы автомобиля нужны только при обучении, на этапе вывода к ним нет доступа.

Третья добавка — классово-зависимая супервизия вертикального профиля. Она направляет лёгкую голову подъёма из BEV в 3D к семантически правдоподобным распределениям высоты и обходится без тяжёлого 3D-декодера. Обе вспомогательные добавки работают при обучении, а VADP встроен рядом с быстрым путём вывода, так что реальное время сохраняется.

Что стоит учитывать

Авторы подчёркивают, что вклад системный: нового базового оператора в работе нет. По их утверждению, при жёстком бюджете задержки 8 мс UFMF первым устраняет dynamic blank-collapse, который раньше удавалось исправлять только тяжёлым генеративным мировым моделям, и работает более чем в 100 раз быстрее сильнейшего базового решения.

Оценки приведены самими авторами и получены на одном датасете — nuScenes. Скорость измерена на настольной RTX 4090, а не на бортовом вычислителе автомобиля. Кроме того, модель использует радарный доплер, поэтому для систем без таких данных выигрыш придётся проверять отдельно.

Для инженеров, строящих стек автономного вождения, вывод практичный: недостающую динамику лёгкого прогнозировщика можно восполнять физически осмысленными приорами — линейной экстраполяцией движения и радарным доплером — вместо наращивания размера модели. Если результаты воспроизведутся на других наборах данных, такой подход станет дешёвой альтернативой тяжёлым мировым моделям.