Le prédicteur radar UFMF atteint 122 FPS et 0,45 mIoU sur les objets rapides de nuScenes

Les auteurs d'un article publié sur arXiv présentent UFMF (Ultra-Fast Multi-modal Forecaster), un modèle qui prédit en temps réel quelles zones de l'espace autour d'un véhicule autonome seront occupées dans les secondes à venir. Sur une seule RTX 4090, il traite 122 images par seconde. Sur le jeu de données nuScenes, il affiche 0,542 mIoU global et 0,45 mIoU sur le « panier rapide », le groupe d'objets à fort déplacement. Sur ce panier, le modèle devance de 4,8 points de pourcentage les modèles du monde d'occupation récents (le mIoU mesure l'intersection entre la zone prédite et la zone réelle).

Où les prédicteurs légers décrochent

Le planificateur d'un véhicule autonome s'appuie sur des cartes d'occupation future pour anticiper les collisions. Si un véhicule rapide s'estompe ou disparaît de la carte aux horizons lointains, le planificateur perd la géométrie dont il a besoin, et la prédiction devient nuisible. Les auteurs appellent cette défaillance dynamic blank-collapse, un effondrement « à vide » de la dynamique.

Les approches existantes attaquent le problème par des bouts opposés. Les modèles du monde d'occupation comme OccWorld, Drive-OccWorld et COME construisent des voxels 3D denses avec des décodeurs génératifs et tiennent bien l'horizon lointain. Mais la plupart tournent à moins de 25 FPS, et les plus puissants à 1–2 FPS. Les prédicteurs BEV légers (BEV : vue de la scène depuis le dessus), comme FlashOcc, respectent la contrainte de latence : ils calculent en 2D et ne remontent le résultat en 3D qu'en sortie. En revanche, les objets rapides s'y effondrent dès que leur mouvement diverge de celui de l'arrière-plan, compensé par le mouvement propre du véhicule.

Trois ajouts à un noyau économique

Plutôt que de mettre l'architecture à l'échelle de façon uniforme, UFMF conserve un noyau temporel peu coûteux, un modèle d'espace d'états diagonal sans attention, et ajoute de la structure là où les modèles légers échouent généralement.

Le premier ajout est le Velocity-Aware Dynamic Prior (VADP), un a priori dynamique radar qui tient compte de la vitesse. Il combine les différences de l'historique sémantique avec les données Doppler radar denses et prédit un champ de déplacement pour chaque cellule de la grille. Le déplacement futur se décompose en une extrapolation linéaire et une correction apprenable, dépendante de l'horizon. Les flux obtenus transportent un sous-espace dynamique compact de l'état latent pendant la prédiction. L'a priori n'est appliqué qu'aux classes présentant un mouvement notable : voitures, camions, bus, vélos, motos et piétons. Le prédicteur de base continue de produire toutes les classes, y compris le fond et les éléments statiques.

Le radar entre dans le modèle sous forme de carte dense, et non de réflexions brutes : pour chaque cellule BEV, on moyenne le Doppler radial de tous les points radar qui y tombent, et les cellules sans réflexion restent à zéro. Cette fusion sur la grille se fait sans aucun paramètre. Le même flux radar sert à la fois de condition temporelle pour le chemin principal de prédiction et d'entrée pour VADP.

Le deuxième ajout est une supervision de la dynamique dans le repère monde. L'occupation prédite et l'occupation cible sont comparées dans un référentiel commun. Les trajectoires qui paraissent plausibles à chaque horizon mais restent incohérentes dans le temps sont donc pénalisées. Les poses futures du véhicule ne servent qu'à l'entraînement : elles ne sont pas accessibles à l'inférence.

Le troisième ajout est une supervision du profil vertical dépendante de la classe. Elle oriente la tête légère de remontée du BEV vers la 3D vers des distributions de hauteur sémantiquement plausibles, sans recourir à un lourd décodeur 3D. Les deux ajouts auxiliaires n'interviennent qu'à l'entraînement, tandis que VADP est intégré à côté du chemin d'inférence rapide, ce qui préserve le temps réel.

Ce qu'il faut garder en tête

Les auteurs soulignent que leur contribution est systémique : l'article ne propose pas de nouvel opérateur de base. Selon eux, avec un budget de latence strict de 8 ms, UFMF est le premier à éliminer le dynamic blank-collapse, que seuls les lourds modèles du monde génératifs parvenaient jusqu'ici à corriger, et il tourne plus de 100 fois plus vite que la meilleure solution de référence.

Les évaluations sont fournies par les auteurs eux-mêmes et obtenues sur un seul jeu de données, nuScenes. La vitesse a été mesurée sur une RTX 4090 de bureau, et non sur un calculateur embarqué de véhicule. De plus, le modèle exploite le Doppler radar : pour les systèmes dépourvus de ces données, le gain devra être vérifié séparément.

Pour les ingénieurs qui construisent une pile de conduite autonome, la leçon est pratique : on peut compenser la dynamique manquante d'un prédicteur léger par des a priori physiquement fondés, comme l'extrapolation linéaire du mouvement et le Doppler radar, plutôt que d'augmenter la taille du modèle. Si les résultats se reproduisent sur d'autres jeux de données, cette approche deviendra une alternative économique aux lourds modèles du monde.