GATS seleciona 25% dos tokens com LiDAR e reduz o erro de trajetória L2 para 0,520 m

Os autores de um preprint no arXiv propuseram o GATS (Geometry-Aware Token Selection), método que usa LiDAR e radar para descartar antecipadamente os fragmentos de imagem desnecessários em modelos de direção autônoma baseados em câmeras. Com orçamento de 25% dos tokens, o erro de trajetória L2 (desvio médio entre o caminho previsto e o real após 3 segundos) no dataset nuScenes foi de 0,520 m, contra 0,573 m do modelo denso, que processa o quadro inteiro. No benchmark NAVSIM, a pontuação consolidada EPDMS (nota oficial de qualidade de direção) subiu de 85,9 para 88,9, e o custo total de computação foi menor. O modelo esparso planeja melhor que o denso, que enxerga tudo.

Por que o modelo denso perde para si mesmo

Seis câmeras panorâmicas processadas pelo DINOv2-Small geram cerca de 3500 tokens por quadro e 185 GFLOPs só na codificação. A maior parte desses tokens descreve o céu, prédios ou a via longe da rota. Já um carro vizinho ocupa apenas 3 tokens (mediana de todos os veículos do conjunto de validação), enquanto 6913 tokens chegam à atenção cruzada do planejador. Com atenção limitada, o planejador se perde em milhares de patches inúteis.

Os autores testaram a hipótese com um experimento simples. Ao descartar 75% dos tokens de forma aleatória, o erro L2 cai de 0,573 m para 0,550 m. Já um ramo treinado de fusão de características do LiDAR (um MLP de quatro camadas com 2,4 milhões de parâmetros) não melhorou o planejamento. A conclusão dos pesquisadores: o gargalo não está no que o modelo vê, mas em quanto conteúdo supérfluo disputa a atenção do planejador.

Como o GATS escolhe para onde olhar

O seletor trabalha apenas com a geometria 3D medida e não precisa de características da imagem. Por isso, o ViT visual codifica somente os patches escolhidos, e os descartados não custam nenhuma computação. Isso é impossível em métodos que definem a importância do token a partir das saídas da própria rede: eles precisam codificar o quadro inteiro primeiro.

Os pontos de LiDAR de vários sweeps e as detecções de radar são projetados na grade de cada câmera. Para cada patch, o método monta um vetor de 16 dimensões: altura em relação ao solo, resíduos de movimento entre sweeps, velocidade radial do radar e intensidade de reflexão do LiDAR. O orçamento é dividido em três fluxos, com pools de candidatos que não se sobrepõem:

• 55% vão para patches acima do solo, avaliados por indícios de obstáculo, movimento e proximidade do caminho do carro;
• 30% vão para a superfície da via próxima ao corredor de movimento;
• 15% são distribuídos entre todos os patches e capturam objetos como semáforos suspensos, que não têm pontos de LiDAR no solo.

As proporções 55/30/15% e os coeficientes fixos de pontuação foram ajustados na validação, enquanto uma pequena rede de duas camadas é ajustada em conjunto com o modelo de mundo. Cada token selecionado recebe uma âncora 3D, isto é, a posição mediana de seus pontos de LiDAR. As âncoras permitem associar patches de câmeras diferentes e alinhar o histórico de quadros pela odometria. Um modelo de mundo latente autossupervisionado prevê características futuras e deslocamentos 3D sem anotação de bounding boxes.

Números e limitações

Com orçamento de 10%, o pipeline completo custa 24 GFLOPs, contra 185 GFLOPs só da codificação do modelo denso. Nesse caso, o L2 no nuScenes é de 0,537 m e o EPDMS no NAVSIM é de 87,9, ainda melhor que a base densa (0,573 m e 85,9).

Em 739 cenários selecionados, nos quais as intenções de outros participantes são críticas, o GATS cobre 95,8% dos veículos perigosos. Na seleção aleatória, o índice é de 81,5%; no seletor treinável, de 70,0%. A taxa de colisões foi de 0,09%, contra 0,34% do modelo denso, ou seja, 73,5% menor. Os autores atribuem a robustez em situações raras ao fato de que a geometria medida não depende da frequência dos objetos no conjunto de treino: qualquer veículo que reflita o LiDAR acima do nível do solo será selecionado.

Há ressalvas. O método depende de LiDAR e radar, portanto não serve para sistemas puramente baseados em câmeras. Os coeficientes de pontuação e as proporções dos fluxos foram definidos manualmente. A comparação direta com sistemas end-to-end publicados é difícil: eles usam outros codificadores, dados de treino e protocolos de avaliação. No NAVSIM, onde uma função de avaliação padronizada torna a comparação justa, o GATS supera a base densa em 3 pontos de EPDMS. A conclusão prática é que, se o carro já tem LiDAR, ele rende mais como roteador de computação para a rede visual do que como mais uma fonte de características.