LeWorldModel é testado quanto à sensibilidade a ações: os eixos divergem de 36° a 42°

Uma world model pré-treinada pode prever bem o futuro e, ainda assim, reagir de forma incorreta a pequenas mudanças nas ações. Foi isso que Vasil Vasilev e Siddharth Nayak testaram no preprint arXiv 2610.31716, sobre o LeWorldModel (LeWM). Em quase mil estados dos ambientes Reacher e OGBench Cube, as direções de ação mais sensíveis no modelo e no simulador divergem, na mediana, 36° e 42°, respectivamente. Esse é o resultado para a menor das três escalas de perturbação.

Como a sensibilidade às ações foi medida

Um modelo que prevê a próxima observação não necessariamente entende como a resposta depende da ação. Para planejamento e controle, o segundo ponto pesa mais. O planejador testa variantes de ação e escolhe aquela após a qual o futuro previsto parece melhor. Se o modelo não transmite corretamente quais movimentos mais alteram o resultado, a otimização acontece sobre uma paisagem distorcida.

Os autores construíram matrizes de Gram para as ações, isto é, uma descrição de quão fortemente e em quais direções uma pequena mudança na ação desloca o resultado. Para a comparação, eles usaram execuções contrafactuais pareadas do simulador e as respostas do modelo a partir do mesmo estado. A sensibilidade foi medida em três escalas de perturbação e em três representações: em pixels, em embeddings e em coordenadas físicas selecionadas do estado.

O que Reacher e Cube mostraram

O principal resultado diz respeito às direções. Se, no simulador, uma certa combinação de componentes da ação é a que mais altera o mundo, o LeWM, na mediana, aponta como mais sensível outra direção, que se desvia 36° no Reacher e 42° no OGBench Cube. Aqui se trata dos eixos principais de sensibilidade, e não de ruído aleatório em pontos isolados.

A escala tem forte influência. Quando a perturbação da ação aumenta dez vezes, a divergência mediana normalizada entre as matrizes de Gram cai cerca de 70% no Reacher e 47% no Cube. O modelo fica mais próximo do ambiente em mudanças de ação mais grosseiras e diverge de forma mais evidente nas mais sutis. Por isso, a conclusão sobre a qualidade do LeWM depende da escala escolhida para a avaliação.

Pixels, embeddings e física

A geometria medida também depende do espaço em que é calculada. Em pixels e embeddings, ela varia entre as escalas de forma bem mais acentuada do que nas coordenadas físicas do estado. A avaliação do modelo muda conforme se olha para a imagem, para a representação latente ou para a posição e a velocidade dos objetos.

Em separado, os autores testaram a previsão da resposta em direções held-out, que não participaram da construção da métrica. Resultados em erros medianos da resposta dos embeddings:

• Reacher, métrica do ambiente (environment Gram): 17%
• OGBench Cube, métrica do ambiente: 28%
• Reacher, referência isotrópica com o mesmo traço: 26%
• OGBench Cube, referência isotrópica com o mesmo traço: 38%
• LeWM nessa escala: erros maiores do que os da métrica do ambiente

A referência isotrópica distribui a sensibilidade de modo uniforme por todas as direções e preserva a intensidade total da resposta, ou seja, o traço da matriz. Ela funciona como um piso: a métrica do ambiente a supera, enquanto a geometria do LeWM produz previsões menos precisas da magnitude da resposta em novas direções do que a métrica derivada do ambiente.

O que verificar antes de planejar sobre uma world model

A conclusão prática dos autores: avaliar uma world model apenas pela precisão das previsões não basta. É preciso observar como as previsões mudam quando as ações mudam, em várias escalas de perturbação e em várias representações. Se a verificação ocorre em uma única escala, ela pode mostrar o modelo melhor ou pior do que ele se comportará em uma tarefa real.

A relação entre essas divergências e a qualidade do controle não foi demonstrada no trabalho. Os autores classificam explicitamente o impacto sobre o controle como uma questão em aberto e pedem a colegas que compartilhem opiniões sobre as consequências para o model-based planning. O estudo foi feito em dois ambientes e com um único modelo pré-treinado, então ainda é cedo para generalizar o resultado a todas as world models. Em compensação, as equipes que constroem planejadores sobre modelos latentes ganham um conjunto concreto de diagnósticos: matrizes de Gram, execuções contrafactuais do simulador e direções held-out. O projeto está publicado em geometry.vasi.boo.