El predictor por radar UFMF alcanza 122 FPS y 0,45 mIoU en los objetos rápidos de nuScenes

Los autores de un artículo en arXiv han presentado UFMF (Ultra-Fast Multi-modal Forecaster), un modelo que predice en tiempo real qué zonas del espacio alrededor de un coche autónomo estarán ocupadas en los próximos segundos. En una sola RTX 4090 procesa 122 fotogramas por segundo y, en el dataset nuScenes, obtiene 0,542 mIoU global y 0,45 mIoU en el «cubo rápido», el grupo de objetos con mayor desplazamiento. En ese grupo, el modelo supera en 4,8 puntos porcentuales a los world models de ocupación recientes (mIoU es la métrica de intersección entre el área predicha y la real).

Dónde fallan los predictores ligeros

El planificador de un vehículo autónomo se apoya en mapas de ocupación futura para anticipar colisiones. Si un coche rápido se difumina o desaparece del mapa en un horizonte lejano, el planificador pierde la geometría que necesita y la predicción acaba siendo perjudicial. Los autores llaman a este fallo dynamic blank-collapse, un colapso «en blanco» de la dinámica.

Los enfoques existentes abordan el problema desde extremos opuestos. Los world models de ocupación como OccWorld, Drive-OccWorld y COME construyen vóxeles 3D densos con decodificadores generativos y mantienen bien el horizonte lejano, pero la mayoría funciona por debajo de 25 FPS y los más potentes, a 1–2 FPS. Los predictores BEV ligeros (BEV es la vista de la escena desde arriba), como FlashOcc, sí cumplen con la latencia: calculan en 2D y solo al final elevan el resultado a 3D. A cambio, sus objetos rápidos se colapsan cuando su movimiento difiere del fondo compensado por el movimiento del propio vehículo.

Tres añadidos a un núcleo barato

En lugar de escalar la arquitectura de forma uniforme, UFMF conserva un núcleo temporal barato, un modelo de espacio de estados diagonal sin atención, y añade estructura justo donde los modelos ligeros suelen fallar.

El primer añadido es Velocity-Aware Dynamic Prior (VADP), un prior dinámico basado en radar que tiene en cuenta la velocidad. Combina las diferencias del historial semántico con datos densos de doppler del radar y predice un campo de desplazamiento para cada celda de la rejilla. El desplazamiento futuro se descompone en una extrapolación lineal y una corrección entrenable que depende del horizonte. Los flujos resultantes transportan un subespacio dinámico compacto del estado oculto durante la predicción. El prior se aplica solo a las clases con movimiento apreciable (coches, camiones, autobuses, bicicletas, motocicletas y peatones); el predictor base sigue generando todas las clases, incluidos el fondo y los elementos estáticos.

El radar entra en el modelo como un mapa denso, no como reflexiones en bruto: para cada celda BEV se promedia el doppler radial de todos los puntos de radar que caen en ella, y las celdas sin reflexiones quedan en cero. Es una agregación en rejilla sin parámetros. El mismo flujo de radar sirve como condición temporal para la vía principal de predicción y como entrada de VADP.

El segundo añadido es la supervisión de la dinámica en el sistema de coordenadas del mundo. La ocupación predicha y la objetivo se comparan en un marco común, de modo que se penalizan las trayectorias que parecen verosímiles en cada horizonte pero son incoherentes en el tiempo. Las poses futuras del vehículo solo se necesitan durante el entrenamiento; en la inferencia no hay acceso a ellas.

El tercer añadido es la supervisión del perfil vertical según la clase. Guía a una cabeza ligera de elevación de BEV a 3D hacia distribuciones de altura semánticamente plausibles y prescinde de un decodificador 3D pesado. Los dos añadidos auxiliares actúan en el entrenamiento, mientras que VADP se integra junto a la vía rápida de inferencia, así que se mantiene el tiempo real.

Qué conviene tener en cuenta

Los autores subrayan que su aportación es de sistema: el trabajo no propone un nuevo operador básico. Según afirman, con un presupuesto de latencia estricto de 8 ms, UFMF es el primero en eliminar el dynamic blank-collapse, que hasta ahora solo lograban corregir los world models generativos pesados, y funciona más de 100 veces más rápido que la mejor solución de referencia.

Las cifras las aportan los propios autores y proceden de un único dataset, nuScenes. La velocidad se midió en una RTX 4090 de escritorio, no en el computador de a bordo de un vehículo. Además, el modelo usa el doppler del radar, así que en sistemas que no dispongan de esos datos habrá que comprobar por separado si se obtiene la misma mejora.

Para los ingenieros que construyen un stack de conducción autónoma, la conclusión es práctica: la dinámica que le falta a un predictor ligero puede suplirse con priors físicamente razonables, como la extrapolación lineal del movimiento y el doppler del radar, en lugar de aumentar el tamaño del modelo. Si los resultados se reproducen en otros conjuntos de datos, este enfoque será una alternativa barata a los world models pesados.