Modelos de mundo: serão a chave para o piloto automático?

Nos últimos dois anos, ao falar de direção inteligente, as montadoras sempre citaram algum termo técnico novo. Depois do treinamento ponta a ponta (end-to-end) e do VLA, o «modelo de mundo» virou a expressão mais em voga na área. Cada empresa deu a ele um nome próprio: a Xiaopeng apresentou o «Modelo Base de Mundo», a NIO o chamou de «Modelo de Mundo Ponta a Ponta» e a Huawei, de «Modelo de Mundo de Comportamento» (WA). Além delas, Horizon Robotics, Li Auto, Yuanrong Qixing e Momenta também trabalham com modelos de mundo.

Pelas entrevistas coletivas dessas empresas, porém, é difícil saber se todas falam da mesma coisa. Que problema o modelo resolve? Em que parte da arquitetura de direção inteligente ele fica? Em sentido mais amplo, o «modelo de mundo» é a recriação do mundo real em um mundo virtual: uma tecnologia que permite à inteligência artificial entender a realidade, aprender as leis físicas, as relações de causa e efeito e a dinâmica do ambiente, de modo semelhante a um ser humano.

A maioria dos cientistas e empresas de tecnologia considera os modelos de mundo um elemento-chave da «IA do mundo físico». A professora Fei-Fei Li, da Universidade Stanford, já afirmou que a inteligência espacial é a próxima década da IA, e que o modelo de mundo é a tecnologia-chave para construí-la. Os cientistas e as empresas que lideram o setor ainda estão na fase de pesquisa, mas a indústria automotiva chinesa já marcou posição com diversos conceitos novos.

Na prática, o «modelo de mundo» de que a indústria de direção inteligente fala hoje é só uma diferença de nomenclatura, sem grande distinção tecnológica. Trata-se de uma atualização de paradigma das ferramentas de simulação que o setor já tinha: testar e validar modelos ponta a ponta em um mundo virtual com maior fidelidade de reconstrução, mais detalhe, cenas mais ricas e mais graus de liberdade. Tudo isso para treinar um modelo de direção inteligente ponta a ponta mais eficaz e mais parecido com o de um humano.

Em outras palavras, fabricantes de sistemas de direção inteligente e montadoras não estão criando uma realidade física digital completa. Usam a ideia de modelo de mundo para construir um simulador. Cada empresa pode ter expectativas diferentes sobre o modelo de mundo, mas, até onde sabemos, hoje ele é aplicado na indústria de direção inteligente apenas na nuvem e não é usado nos carros.

A difusão do treinamento ponta a ponta expôs as limitações dos simuladores. Nos últimos dois a três anos, as principais soluções de direção inteligente migraram de uma pilha de regras para um controle baseado em IA e concluíram a unificação «formal». Percepção, previsão e planejamento foram integrados ao máximo em uma única rede, com modelos maiores e mais poder computacional. Como as montadoras costumam dizer em suas coletivas, «a direção inteligente depois do treinamento ponta a ponta se parece mais com a direção humana».

No uso real, porém, surgiu um fenômeno contraintuitivo: as novas versões de OTA depois do treinamento ponta a ponta nem sempre melhoram e podem até «regredir». O problema central não é que o modelo tenha piorado, mas que o controle baseado em IA dificulta a avaliação e a regressão. Na época, muitos especialistas em direção inteligente achavam que, desde que o front-end fosse bem treinado, o carro dirigiria como uma pessoa.

Esse caminho não é infrutífero, e os primeiros resultados do treinamento ponta a ponta impressionaram muitos especialistas, mas a «caixa-preta» do método também tem efeitos colaterais. Quando o modelo erra, os desenvolvedores têm dificuldade para saber por que o erro aconteceu. Como provar que ele não se repetirá?

Um modelo ser bom ou não depende não só de «ser grande o bastante e ter dados suficientes», mas também de como se detectam, definem e verificam os problemas. As fabricantes foram percebendo que precisavam de um simulador melhor para avaliar o desempenho do modelo na etapa de validação.

A maioria dos principais players constrói modelos de mundo para usá-los como simuladores. Para que um VLA ideal possa fazer aprendizado por reforço em um ambiente simulado, a Li Auto propôs em 2025 um modelo de mundo de direção que inclui as trajetórias do próprio veículo e de outros, atuando como professor de avaliação. A Xiaopeng declarou apenas o «Modelo Base de Mundo», que em essência não tem relação com o modelo de mundo, mas, segundo a 36Kr Auto, ela também usa um modelo de mundo para simulação. Testes para avaliar a capacidade do algoritmo da nova versão do modelo.

A difusão do treinamento ponta a ponta expôs as limitações dos simuladores tradicionais. «Quando o treinamento ponta a ponta não era tão popular, o custo de validação não era tão alto para todo mundo, e ainda dava para validar o sistema por partes. Agora, com o treinamento ponta a ponta, não há como validar o sistema por partes, e é nesse momento que o problema do simulador fica evidente», disse um desenvolvedor do setor.

Na era das regras, as simulações das montadoras costumavam servir a dois propósitos. O primeiro era reproduzir problemas de tomada de controle no meio do trajeto, ou seja, voltar e reexecutar trechos que ocorreram durante os testes em estrada. O segundo era usar simuladores para aumentar a riqueza dos dados de casos extremos: criar no simulador alguns cruzamentos típicos, pedestres atravessando a rua e cenários de entrada de veículos na pista, para que o sistema os superasse.

Naquele momento, o simulador funcionava como uma «lupa». Depois do treinamento ponta a ponta, porém, o modelo é difícil de dividir em partes, é difícil gerar de forma sistemática casos extremos menores e controláveis, e é ainda mais difícil sustentar a validação em malha fechada em larga escala que o treinamento ponta a ponta exige. É justamente por isso que o modelo de mundo foi introduzido.

Na era ponta a ponta, o modelo de mundo é o «treinador» do modelo de direção inteligente. «Hoje, o nível dos modelos de mundo das montadoras nacionais está a certa distância da Tesla, mas a diferença é de menos de um ano», disse uma fonte do setor.

A Tesla não usou o conceito de «modelo de mundo», mas o termo «simulador de mundo» (o vice-presidente de direção autônoma da Tesla, Ashok Elluswamy, mencionou o assunto pela primeira vez no ICCV do ano passado). O simulador se baseia em um enorme conjunto de dados criado pela própria Tesla e gera o estado futuro a partir do estado atual e das próximas ações. Assim, ele fecha o ciclo com o modelo ponta a ponta de base no lado do carro para avaliar o efeito real.

A fonte do setor observou que a Tesla se aproxima mais de usar redes neurais para «ajustar» o mundo. O processo de renderização é gerado por cálculo, de modo a minimizar a imposição explícita de regras físicas. A biblioteca de materiais não é totalmente predefinida por humanos, mas mantém certo peso de probabilidade e espaço de combinações. A vantagem dessa abordagem é que o modelo tem maior capacidade de generalização.

As montadoras nacionais seguem outro caminho, mais «controlado». Segundo um fornecedor que conversou com a 36Kr Auto, a Li Auto usa reconstrução 3D Gaussiana, um dos métodos também adotados hoje pela maioria das montadoras.

Qualquer que seja o caminho escolhido, o modelo de mundo aponta, em última análise, para a mesma posição em termos de engenharia: as montadoras o usam como um «sistema de verificação e refutação» na era ponta a ponta. Na nuvem, ele reproduz, reescreve e amplia situações que podem ocorrer na direção real, verifica se a saída do modelo grande no lado do carro é estável e reproduzível, e transforma «onde está errado e por que está errado» em uma cadeia de evidências rastreável.

O papel do modelo de mundo é semelhante ao de um treinador, e um ótimo treinador pode formar ótimos atletas. «À medida que o modelo de mundo na nuvem fica cada vez mais forte, em teoria a capacidade do modelo ponta a ponta treinado no lado do carro deve ficar cada vez mais forte», disse um desenvolvedor.

As principais capacidades de um modelo de mundo envolvem basicamente dois aspectos. O primeiro é a modelagem digital e a abstração do mundo físico. O segundo é a imaginação e a previsão racionais do mundo físico a partir dessa modelagem, por exemplo, prever como o mundo futuro vai mudar a partir de imagens dadas. Um modelo de mundo ser bom ou não depende de ele conseguir gerar, na nuvem, dados suficientemente reais e variados. «Se a montadora usa apenas dados reais coletados para simular, então claramente não está construindo um modelo de mundo, mas apenas um conjunto de processos de reprodução de dados», disse o gerente de produto de um fornecedor.

O modelo de mundo precisa aprender o modo de funcionamento do mundo a partir de dados do mundo físico, por isso a qualidade dos dados de treinamento influencia de forma significativa a qualidade do que o modelo gera. Mao Zimin, responsável pela linha de produtos da JIJIA Vision, afirmou: «Em um modelo generativo como o modelo de mundo, os resultados gerados acabam seguindo os padrões de distribuição das características dos dados de entrada. No processo de comercialização de um modelo de mundo real, vimos que, se a qualidade dos dados for de apenas 60 pontos, a qualidade dos dados gerados a partir desse modelo de mundo pode ser de apenas 55 pontos».

Com base no modelo de mundo, as montadoras podem gerar sem limite os cenários necessários, em diversas dimensões, na simulação na nuvem, e podem gerar vídeos como dados de treinamento de acordo com instruções. «A eficiência não é só um pouco maior do que coletar dados reais e depois treinar; a velocidade de iteração do modelo vai liderar uma era», disse um desenvolvedor de um fornecedor.

Mas tudo isso são resultados idealizados. «O modelo de mundo é uma grande evolução em relação ao simulador usado na direção inteligente, ou, em outras palavras, à ausência de informações de simulação, e só pode ser verificado com dados offline, mas ainda está longe de ser um simulador ideal.»

O algoritmo do modelo de mundo ainda não amadureceu e ainda apresenta muitas «alucinações». Hoje, o setor como um todo está na fase de «apenas começando».

Um desenvolvedor de montadora disse à 36Kr Auto que as fabricantes nacionais conseguem gerar videoclipes de 30 a 60 segundos com base no modelo de mundo, mas a consistência dos objetos dinâmicos não é muito boa, e há grandes problemas tanto de consistência espaço-temporal quanto de consistência entre múltiplas visões.

O núcleo do modelo de mundo é um modelo generativo, e o modelo generativo traz, por natureza, o risco de «alucinações». «O mais difícil no modelo de mundo hoje é como garantir que o que é gerado seja real. Se uma pessoa é gerada, como garantir que seu comportamento e sua trajetória possam acontecer no mundo real», disse o gerente de produto do fornecedor. «Se o modelo de mundo gera confusão, o modelo vai aprender coisas erradas, o que levará a um efeito muito ruim no modelo implantado no lado do carro.»

Um exemplo extremo: se os carros gerados na nuvem se movem de lado, o modelo vai achar que o carro na frente à esquerda pode se deslocar instantaneamente para a frente à direita. Na direção real, o modelo pode frear.

Se o simulador não consegue se aproximar das relações causais essenciais do mundo real, como o efeito de uma pista escorregadia na distância de frenagem, a probabilidade de falsa detecção de objetos parados em contraluz ou a estratégia de negociação do veículo em sentido contrário durante uma troca de faixa, o «caso extremo» que ele gera pode ser falso. Otimizar com base em problemas falsos equivale a gastar recursos de desenvolvimento com fantasmas.

Muitos acreditam que o gargalo do modelo de mundo são os dados e o poder computacional, mas Xia Zhongpu, ex-responsável pelo modelo «ponta a ponta» de direção autônoma da Li Auto, concorda mais com o ponto de vista de LeCun: «No algoritmo do modelo de mundo não há grandes avanços, e o aprendizado autossupervisionado de modelos de imagem ainda não encontrou um paradigma relativamente fluido, como o da linguagem».

Os modelos de linguagem conseguem escalar rápido porque a própria linguagem tem alta densidade de informação, e cada palavra traz restrições semânticas claras. Já a densidade de informação da imagem é baixa, e, para a «decisão de direção», a informação útil é apenas uma pequena parte.

Por exemplo, o modelo não precisa prever a trajetória de um carro que está bem atrás, nem as mudanças de prédios distantes: tudo isso é ruído. Mas ele precisa prever se o carro à frente na mesma faixa vai frear bruscamente de repente, se o carro da faixa ao lado vai mudar de faixa, se um pedestre vai atravessar a rua de repente. O modelo precisa, primeiro, saber «a que prestar atenção».

«Hoje, o algoritmo de direção inteligente não consegue extrair da imagem informação útil suficiente para dirigir», disse Xia Zhongpu. Uma imagem pode conter milhões de pixels, mas apenas 20 ou pouco mais estão ligados à tomada de decisão, e o restante é ruído. O modelo precisa primeiro aprender a extrair 1‰ ou até 1‱ de sinal efetivo do ruído, e só então se pode falar em organizar o sinal em uma estrutura utilizável para raciocínio e previsão.

Na opinião de Xia Zhongpu, o algoritmo do modelo de mundo ainda não teve um avanço, e menos ainda se pode falar em saber se os dados são suficientes e quanto poder computacional é necessário. Justamente porque a tecnologia de base do modelo de mundo ainda não mostrou um avanço claro, o investimento das montadoras tem caráter mais exploratório, e até alguns executivos do setor estão confusos com isso.

Se o modelo de mundo for bem feito, ele poderá ser instalado no lado do carro, desde que o poder computacional consiga suportá-lo. «Hoje, na China, o modelo de mundo é usado principalmente como sistema de simulação, e o grau de compreensão da tecnologia de tomada de decisão para direção inteligente ainda não é alto o bastante», disse Xia Zhongpu.

Isso também explica uma contradição aparente: por que todos falam de modelos de mundo, mas a diferença na experiência do usuário não é evidente. A razão é que o modelo de mundo da maioria ainda está na primeira etapa, «usado para treinamento e verificação», e não na segunda, «capaz de apoiar o planejamento de decisões».

«Implantar o modelo de mundo no lado do carro é o mais difícil», disse Xia Zhongpu. Hoje, nenhuma empresa aplica o modelo de mundo no lado do carro. Ele também afirmou: «Usar o método de grandes modelos para simular o mundo físico, prever as mudanças no desenvolvimento do mundo por meio da interação com o mundo físico e, assim, influenciar o mundo com decisões para que ele evolua em uma direção favorável a si. Se o modelo de mundo chegar a esse nível, será possível resolver os problemas ligados à direção automática e aos robôs».