GATS sélectionne 25% des tokens grâce au LiDAR et ramène l'erreur de trajectoire L2 à 0,520 m

Les auteurs d'un preprint publié sur arXiv proposent GATS (Geometry-Aware Token Selection), une méthode qui utilise le LiDAR et le radar pour écarter en amont les fragments d'image superflus dans les modèles de conduite autonome fonctionnant avec des caméras. Avec un budget de 25% des tokens, l'erreur de trajectoire L2 (écart moyen entre le trajet prédit et le trajet réel à 3 secondes) atteint 0,520 m sur le jeu de données nuScenes, contre 0,573 m pour le modèle dense, qui traite l'image entière. Sur le benchmark NAVSIM, le score agrégé EPDMS (le score officiel de qualité de conduite) passe de 85,9 à 88,9, avec en prime un volume total de calcul moindre.

Le modèle épars planifie mieux que le modèle dense, qui voit tout.

Pourquoi le modèle dense se pénalise lui-même

Six caméras panoramiques traitées par DINOv2-Small produisent environ 3500 tokens par image et 185 GFLOPs pour le seul encodage. La plupart de ces tokens décrivent le ciel, des bâtiments ou la route loin de l'itinéraire. Or un véhicule voisin n'occupe que 3 tokens (médiane sur l'ensemble des voitures de l'échantillon de validation), tandis que 6913 tokens arrivent dans la cross-attention du planificateur. Un planificateur à attention limitée se noie sous des milliers de patchs inutiles.

Les auteurs ont testé leur hypothèse avec une expérience simple. Si l'on écarte au hasard 75% des tokens, l'erreur L2 tombe de 0,573 m à 0,550 m. Une branche entraînée de fusion des caractéristiques LiDAR (un MLP à quatre couches de 2,4 millions de paramètres) n'a pas amélioré la planification. Les chercheurs en concluent que le goulot d'étranglement ne tient pas à ce que le modèle voit, mais à la quantité de tokens superflus qui se disputent l'attention du planificateur.

Comment GATS choisit où regarder

Le sélecteur ne s'appuie que sur la géométrie 3D mesurée et n'a pas besoin des caractéristiques de l'image. Le ViT visuel n'encode donc que les patchs retenus, et les patchs écartés ne coûtent aucun calcul. C'est impossible pour les méthodes qui déterminent l'importance d'un token à partir des sorties du réseau lui-même : elles doivent d'abord encoder toute l'image.

Les points LiDAR multi-sweeps et les détections radar sont projetés sur la grille de chaque caméra. Pour chaque patch, la méthode construit un vecteur à 16 dimensions : hauteur au-dessus du sol, résidus de mouvement entre les sweeps, vitesse radiale mesurée par le radar, intensité de réflexion du LiDAR. Le budget est réparti en trois flux, avec des pools de candidats qui ne se recoupent pas :

• 55% vont aux patchs situés au-dessus du sol, évalués selon les indices d'obstacle, le mouvement et la proximité de la trajectoire du véhicule ;
• 30% vont à la surface de la chaussée à proximité du couloir de circulation ;
• 15% sont répartis sur l'ensemble des patchs et servent à repérer des objets tels que les feux suspendus, qui n'ont pas de points LiDAR au sol.

Les proportions 55/30/15% et les coefficients de scoring fixes ont été calés sur la validation, tandis qu'un petit réseau à deux couches est affiné conjointement avec le modèle du monde. Chaque token sélectionné reçoit une ancre 3D, c'est-à-dire la position médiane de ses points LiDAR. Ces ancres permettent de relier les patchs de caméras différentes et d'aligner l'historique des images grâce à l'odométrie. Un modèle du monde latent auto-supervisé prédit les caractéristiques futures et les déplacements 3D, sans annotation de boîtes englobantes.

Chiffres et limites

Avec un budget de 10%, le pipeline complet coûte 24 GFLOPs, contre 185 GFLOPs pour le seul encodage du modèle dense. La L2 sur nuScenes s'établit alors à 0,537 m et l'EPDMS sur NAVSIM à 87,9, ce qui reste meilleur que la base dense (0,573 m et 85,9).

Sur 739 scénarios sélectionnés, où les intentions des autres usagers sont critiques, GATS couvre 95,8% des véhicules dangereux. Ce taux est de 81,5% pour la sélection aléatoire et de 70,0% pour un sélecteur entraîné. Le taux de collisions s'établit à 0,09% contre 0,34% pour le modèle dense, soit 73,5% de moins. Les auteurs expliquent cette robustesse face aux situations rares par le fait que la géométrie mesurée ne dépend pas de la fréquence des objets dans le jeu d'entraînement : toute voiture qui réfléchit le LiDAR au-dessus du niveau du sol sera sélectionnée.

La méthode comporte des réserves. Elle repose sur le LiDAR et le radar, et ne convient donc pas aux systèmes purement caméra. Les coefficients de scoring et les proportions des flux ont été réglés à la main. La comparaison directe avec les systèmes end-to-end publiés est délicate : ils utilisent d'autres encodeurs, d'autres données d'entraînement et d'autres protocoles d'évaluation. Sur NAVSIM, où une fonction d'évaluation standardisée rend la comparaison équitable, GATS dépasse la base dense de 3 points d'EPDMS. La conclusion pratique : si un véhicule embarque déjà un LiDAR, celui-ci est plus utile comme routeur de calcul pour le réseau visuel que comme source supplémentaire de caractéristiques.