General Motors mostra como treina seu sistema de direção autônoma em simulações 50.000 vezes mais rápidas que a realidade

Em um conteúdo patrocinado, a General Motors explicou como está construindo uma IA escalável para direção autônoma. A aposta está em simulações, reinforcement learning e modelos VLA. O foco do treinamento não são as viagens comuns, e sim as situações raras e perigosas, que determinam a segurança real do sistema.

Por que o caso extremo é difícil

Para um sistema de direção autônoma, o problema não é rodar por uma rodovia vazia com tempo bom. O principal risco está na chamada long tail: episódios raros, ambíguos e difíceis de prever. Eles acontecem com pouca frequência, mas são justamente eles que mostram se o sistema pode ir para as ruas sem supervisão humana constante. A GM afirma com todas as letras que o caminho para o modo eyes-off em rodovias, e depois para a autonomia total, esbarra exatamente nesse último percentual de complexidade.

Isso não inclui só casos exóticos, como um colchão no meio da pista, um hidrante estourado ou um apagão em massa dos semáforos. Cenas bem cotidianas no trânsito urbano denso criam tantos problemas quanto essas. Nelas, o motorista precisa ter cortesia e bom senso e entender o contexto rapidamente. Por exemplo: como entrar na fila de um estacionamento sem bloquear o fluxo, ou como atravessar uma obra em que o trânsito é orientado pelos gestos de um trabalhador, e não pela sinalização comum.

• obstáculos inesperados na pista
• desvios temporários em áreas de obras
• gestos de agentes de trânsito que contrariam o semáforo
• manobras complicadas em estacionamentos apertados
• falhas em cascata na infraestrutura urbana

Como a GM treina o modelo

Um dos componentes centrais são os modelos Vision Language Action. Na prática, a empresa pega uma arquitetura vision-language de base, capaz de entender imagens no nível de conceitos gerais, e faz o ajuste fino para tarefas de direção. Com isso, o modelo não apenas "vê" a imagem: ele interpreta as trajetórias dos veículos, identifica objetos em 3D e ajuda a entender o que exatamente está acontecendo na cena. A ideia é que o carro consiga perceber que o gesto de um policial tem prioridade sobre o sinal vermelho, ou que à sua frente há uma área de desembarque de terminal, e não uma faixa comum.

O problema é que a compreensão semântica profunda costuma adicionar latência, e na direção cada fração de segundo é crítica. Por isso, a GM está desenvolvendo o esquema Dual Frequency VLA. Um modelo maior, mais lento, cuida das decisões semânticas de alto nível. Um modelo compacto cuida do loop de controle rápido: direção, frenagem e manutenção da trajetória. Na visão da empresa, esse híbrido deve combinar o "bom senso" dos foundation models com um tempo de reação suficiente para as ruas de verdade.

Simulações no lugar das ruas

A maior parte do treinamento não acontece em ruas reais, e sim em simuladores. A GM diz que roda diariamente milhões de cenários closed-loop de alta fidelidade, o equivalente a dezenas de milhares de dias de direção humana comprimidos em horas de computação. A empresa pode pegar viagens reais e alterar clima e iluminação com modelos de diffusion, adicionar novos veículos ou montar cenas inteiras do zero a partir de descrições em texto e spatial bounding boxes.

Para tarefas de comportamento tático, o fotorrealismo nem sempre é necessário. Por isso, a GM usa o ambiente abstrato Boxworld dentro do GM Gym, seu simulador próprio de RL. Lá ficam apenas os parâmetros relevantes: posição dos objetos, velocidade, regras de trânsito e interação entre veículos. Isso permite rodar volumes enormes de experimentos, nos quais o modelo não aprende a copiar o humano, e sim a buscar uma estratégia com metas mensuráveis, como segurança e progresso.

Com isso, o treinamento acontece em outra velocidade:

• até 50.000 vezes mais rápido que o tempo real
• cerca de 1.000 km de direção virtual por segundo de tempo de GPU
• milhares de motoristas virtuais por segundo em um único ambiente
• 30 minutos de distillation em vez de cerca de 12 horas de RL "bruto"

Depois, o conhecimento do ambiente abstrato é transferido para um modelo mais realista via On Policy Distillation: a política de RL simplificada atua como "professora" do modelo que vai rodar no carro. Além disso, a GM usa o pipeline SHIFT3D para criar deliberadamente objetos que podem confundir o sistema de perception, e adiciona um módulo de epistemic uncertainty que sinaliza as cenas em que o modelo está realmente "inseguro". Segundo a empresa, o ajuste fino com esses casos difíceis já reduziu as colisões near-miss em mais de 30%.

O que isso significa

A abordagem da GM mostra para onde caminha a indústria de direção autônoma: não para um único modelo "inteligente", e sim para um conjunto de simuladores, world models generativos, RL e sistemas de avaliação de incerteza. Se esse esquema realmente escalar, o ativo decisivo na corrida da direção autônoma não será só a frota nas ruas, mas também a qualidade da infraestrutura capaz de inventar, testar e quebrar cenários raros rapidamente, antes que eles cheguem ao usuário.