GATS отбирает 25% токенов по LiDAR и снижает ошибку траектории L2 до 0,520 м

Авторы препринта на arXiv предложили метод GATS (Geometry-Aware Token Selection), который с помощью LiDAR и радара заранее отсекает лишние фрагменты изображения в моделях автономного вождения на камерах. При бюджете 25% токенов ошибка траектории L2 (среднее отклонение предсказанного пути от реального через 3 секунды) на датасете nuScenes составила 0,520 м против 0,573 м у плотной модели, которая обрабатывает весь кадр. На бенчмарке NAVSIM сводная оценка EPDMS (официальный балл качества вождения) выросла с 85,9 до 88,9, причём суммарных вычислений потребовалось меньше. Разреженная модель планирует лучше плотной, которая видит всё.

Почему плотная модель проигрывает самой себе

Шесть обзорных камер, обработанные DINOv2-Small, дают около 3500 токенов на кадр и 185 GFLOPs только на кодирование. Большинство из них описывает небо, здания или дорогу вдали от маршрута. При этом соседний автомобиль занимает всего 3 токена (медиана по всем машинам валидационной выборки), а в кросс-внимание планировщика попадает 6913 токенов. Планировщик с ограниченным вниманием тонет в тысячах бесполезных патчей.

Авторы проверили гипотезу простым опытом. Если случайно выбросить 75% токенов, ошибка L2 падает с 0,573 м до 0,550 м. Обученная ветка слияния признаков LiDAR (четырёхслойный MLP на 2,4 млн параметров) планирование не улучшила. Вывод исследователей: узкое место не в том, что видит модель, а в том, сколько лишнего конкурирует за внимание планировщика.

Как GATS выбирает, куда смотреть

Селектор работает только с измеренной 3D-геометрией и не требует признаков изображения. Поэтому зрительный ViT кодирует лишь выбранные патчи, а отброшенные не стоят вычислений вообще. Для методов, где важность токена определяется по выходам самой сети, это невозможно: им приходится сначала кодировать весь кадр.

Многосвайповые точки LiDAR и радарные детекции проецируются на сетку каждой камеры. Для каждого патча собирается 16-мерный вектор: высота над землёй, остатки движения между свипами, радиальная скорость от радара, интенсивность отражения LiDAR. Бюджет делится на три потока с непересекающимися пулами кандидатов:

• 55% достаётся патчам над землёй, их оценивают по признакам препятствия, движению и близости к пути автомобиля;
• 30% идёт на дорожную поверхность рядом с коридором движения;
• 15% распределяется по всем патчам и ловит объекты вроде подвешенных светофоров, у которых нет наземных точек LiDAR.

Доли 55/30/15% и фиксированные коэффициенты скоринга подобраны на валидации, а небольшая двухслойная сеть дообучается вместе с моделью мира. Каждый выбранный токен получает 3D-якорь, то есть медианную позицию его точек LiDAR. Якоря позволяют связывать патчи разных камер и выравнивать историю кадров по одометрии. Самообучаемая латентная модель мира предсказывает будущие признаки и 3D-смещения без разметки боксов.

Цифры и ограничения

При бюджете 10% полный конвейер стоит 24 GFLOPs вместо 185 GFLOPs одного лишь кодирования плотной моделью. L2 на nuScenes при этом равна 0,537 м, а EPDMS на NAVSIM — 87,9, что тоже лучше плотной базы (0,573 м и 85,9).

На 739 отобранных сценариях, где критичны намерения других участников, GATS покрывает 95,8% опасных машин. Для случайного отбора этот показатель равен 81,5%, для обучаемого селектора — 70,0%. Доля столкновений составила 0,09% против 0,34% у плотной модели, то есть на 73,5% ниже. Устойчивость к редким ситуациям авторы объясняют тем, что измеренная геометрия не зависит от частоты объектов в обучающей выборке: любая машина, отражающая LiDAR выше уровня земли, будет выбрана.

Есть и оговорки. Метод опирается на LiDAR и радар, поэтому не подходит для чисто камерных систем. Коэффициенты скоринга и доли потоков подобраны вручную. Прямое сравнение с опубликованными end-to-end системами затруднено: у них другие энкодеры, обучающие данные и протоколы оценки. На NAVSIM, где стандартизированная функция оценки делает сравнение честным, GATS превосходит плотную базу на 3 пункта EPDMS. Практический вывод такой: если на машине уже есть LiDAR, он полезнее как маршрутизатор вычислений для зрительной сети, чем как ещё один источник признаков.