GATS selecciona el 25% de los tokens con LiDAR y reduce el error de trayectoria L2 a 0,520 m

Los autores de un preprint en arXiv proponen GATS (Geometry-Aware Token Selection), un método que usa LiDAR y radar para descartar de antemano los fragmentos de imagen innecesarios en modelos de conducción autónoma basados en cámaras. Con un presupuesto del 25% de los tokens, el error de trayectoria L2 (desviación media entre la ruta predicha y la real a los 3 segundos) fue de 0,520 m en el dataset nuScenes, frente a 0,573 m del modelo denso, que procesa el fotograma completo. En el benchmark NAVSIM, la puntuación agregada EPDMS (la métrica oficial de calidad de conducción) subió de 85,9 a 88,9, y además con menos cómputo total.

El modelo disperso planifica mejor que el denso, que lo ve todo.

Por qué el modelo denso pierde contra sí mismo

Seis cámaras panorámicas procesadas con DINOv2-Small generan unos 3500 tokens por fotograma y 185 GFLOPs solo en la codificación. La mayoría describe el cielo, edificios o la carretera lejos de la ruta. Sin embargo, un coche vecino ocupa apenas 3 tokens (mediana de todos los vehículos del conjunto de validación), mientras que en la atención cruzada del planificador entran 6913 tokens. Con una atención limitada, el planificador se ahoga entre miles de parches inútiles.

Los autores comprobaron la hipótesis con un experimento sencillo. Si se descarta al azar el 75% de los tokens, el error L2 baja de 0,573 m a 0,550 m. Una rama entrenada de fusión de rasgos de LiDAR (un MLP de cuatro capas con 2,4 millones de parámetros) no mejoró la planificación. La conclusión de los investigadores: el cuello de botella no está en lo que ve el modelo, sino en cuánto material superfluo compite por la atención del planificador.

Cómo decide GATS dónde mirar

El selector trabaja solo con la geometría 3D medida y no necesita rasgos de la imagen. Por eso el ViT visual codifica únicamente los parches elegidos, y los descartados no cuestan nada de cómputo. Esto es imposible en los métodos que determinan la importancia de un token a partir de las salidas de la propia red: esos tienen que codificar primero el fotograma completo.

Los puntos LiDAR de varios sweeps y las detecciones del radar se proyectan sobre la cuadrícula de cada cámara. Para cada parche se construye un vector de 16 dimensiones: altura sobre el suelo, residuos de movimiento entre sweeps, velocidad radial del radar e intensidad de reflexión del LiDAR. El presupuesto se reparte en tres flujos con conjuntos de candidatos que no se solapan:

• el 55% se asigna a los parches por encima del suelo, que se puntúan según indicios de obstáculo, movimiento y cercanía a la trayectoria del vehículo;
• el 30% va a la superficie de la calzada junto al corredor de circulación;
• el 15% se distribuye entre todos los parches y captura objetos como semáforos colgantes, que no tienen puntos LiDAR a nivel del suelo.

Los porcentajes 55/30/15% y los coeficientes fijos de puntuación se ajustaron en validación, mientras que una pequeña red de dos capas se entrena junto con el modelo del mundo. Cada token seleccionado recibe un ancla 3D, es decir, la posición mediana de sus puntos LiDAR. Las anclas permiten vincular parches de distintas cámaras y alinear el historial de fotogramas con la odometría. Un modelo del mundo latente autosupervisado predice rasgos futuros y desplazamientos 3D sin anotación de bounding boxes.

Cifras y limitaciones

Con un presupuesto del 10%, el pipeline completo cuesta 24 GFLOPs, frente a los 185 GFLOPs que gasta solo la codificación del modelo denso. Aun así, el L2 en nuScenes es de 0,537 m y el EPDMS en NAVSIM, de 87,9, que también supera a la base densa (0,573 m y 85,9).

En 739 escenarios seleccionados, donde son críticas las intenciones de otros participantes, GATS cubre el 95,8% de los vehículos peligrosos. Con selección aleatoria, ese indicador es del 81,5%, y con un selector entrenable, del 70,0%. La tasa de colisiones fue del 0,09%, frente al 0,34% del modelo denso, es decir, un 73,5% menos. Los autores atribuyen la solidez ante situaciones raras a que la geometría medida no depende de la frecuencia de los objetos en el conjunto de entrenamiento: cualquier vehículo que refleje el LiDAR por encima del nivel del suelo será seleccionado.

Hay también salvedades. El método depende de LiDAR y radar, por lo que no sirve para sistemas puramente basados en cámaras. Los coeficientes de puntuación y los porcentajes de los flujos se ajustaron a mano. La comparación directa con sistemas end-to-end publicados es difícil: usan otros codificadores, datos de entrenamiento y protocolos de evaluación. En NAVSIM, donde una función de evaluación estandarizada hace la comparación justa, GATS supera a la base densa en 3 puntos de EPDMS. La conclusión práctica es esta: si el vehículo ya lleva LiDAR, resulta más útil como enrutador del cómputo para la red visual que como una fuente más de rasgos.