LeWorldModel testé sur sa sensibilité aux actions : les axes divergent de 36 à 42°

Une world model préentraînée peut bien prédire l'avenir tout en réagissant mal à de petites variations d'action. C'est ce que Vasil Vasilev et Siddharth Nayak ont examiné dans le preprint arXiv 2610.31716 consacré à LeWorldModel (LeWM). Sur près d'un millier d'états issus des environnements Reacher et OGBench Cube, les directions d'action les plus sensibles du modèle et du simulateur divergent en médiane de 36° et 42° respectivement. Ce résultat correspond à la plus petite des trois échelles de perturbation testées.

Comment la sensibilité aux actions a été mesurée

Un modèle qui prédit la prochaine observation ne comprend pas forcément comment la réponse dépend de l'action. Or, pour la planification et le contrôle, c'est le second point qui compte. Un planificateur passe en revue des variantes d'action et retient celle après laquelle le futur prédit paraît le meilleur. Si le modèle restitue mal quels mouvements modifient le plus le résultat, l'optimisation se fait sur un paysage déformé.

Les auteurs ont construit des matrices de Gram pour les actions, c'est-à-dire une description de l'ampleur et des directions dans lesquelles une petite variation d'action déplace le résultat. Pour la comparaison, ils ont utilisé des exécutions contrefactuelles appariées du simulateur et les réponses du modèle, à partir du même état. La sensibilité a été mesurée à trois échelles de perturbation et dans trois représentations : en pixels, en embeddings et dans des coordonnées physiques choisies de l'état.

Ce que montrent Reacher et Cube

Le résultat principal concerne les directions. Lorsque, dans le simulateur, une certaine combinaison de composantes de l'action modifie le plus le monde, LeWM considère en médiane qu'une autre direction est la plus sensible, avec un écart de 36° dans Reacher et de 42° dans OGBench Cube. Il s'agit ici des axes principaux de sensibilité, et non d'un bruit aléatoire sur des points isolés.

L'échelle pèse lourd. Quand la perturbation de l'action est multipliée par dix, l'écart médian normalisé entre matrices de Gram diminue d'environ 70 % dans Reacher et de 47 % dans Cube. Le modèle se rapproche de l'environnement pour des changements d'action plus grossiers, mais s'en écarte nettement plus pour les changements fins. Le jugement porté sur la qualité de LeWM dépend donc de l'échelle de test choisie.

Pixels, embeddings et physique

La géométrie mesurée dépend aussi de l'espace dans lequel on la calcule. En pixels et en embeddings, elle varie nettement plus d'une échelle à l'autre que dans les coordonnées physiques de l'état. L'évaluation du modèle diffère selon que l'on regarde l'image, la représentation latente ou la position et la vitesse des objets.

Les auteurs ont aussi testé la prédiction de la réponse sur des directions mises de côté, qui n'ont pas servi à construire la métrique. Résultats en erreurs médianes sur la réponse des embeddings :

• Reacher, métrique de l'environnement (environment Gram) : 17 %
• OGBench Cube, métrique de l'environnement : 28 %
• Reacher, référence isotrope de même trace : 26 %
• OGBench Cube, référence isotrope de même trace : 38 %
• LeWM à cette échelle : erreurs plus élevées que celles de la métrique de l'environnement

La référence isotrope répartit la sensibilité de façon uniforme entre toutes les directions et conserve l'intensité globale de la réponse, c'est-à-dire la trace de la matrice. Elle sert de plancher : la métrique de l'environnement la bat, tandis que la géométrie de LeWM prédit l'amplitude de la réponse sur de nouvelles directions moins précisément qu'une métrique dérivée de l'environnement.

Que vérifier avant de planifier avec une world model

La conclusion pratique des auteurs : évaluer une world model uniquement sur la précision de ses prédictions ne suffit pas. Il faut examiner comment les prédictions changent quand les actions changent, à plusieurs échelles de perturbation et dans plusieurs représentations. Si la vérification se limite à une seule échelle, elle peut montrer un modèle meilleur ou moins bon que ce qu'il sera dans une tâche réelle.

Le lien entre ces écarts et la qualité du contrôle n'est pas démontré dans le travail. Les auteurs qualifient explicitement l'impact sur le contrôle de question ouverte et invitent leurs pairs à partager leur avis sur les conséquences pour la planification model-based. L'étude porte sur deux environnements et un seul modèle préentraîné ; il est donc trop tôt pour la généraliser à toutes les world models. En revanche, les équipes qui construisent des planificateurs au-dessus de modèles latents disposent désormais d'un jeu concret de diagnostics : matrices de Gram, exécutions contrefactuelles du simulateur et directions mises de côté. Le projet est publié sur la page geometry.vasi.boo.