Stateful Harness fait passer la précision des modèles du monde de 32% à 92% sur l'état caché

Les auteurs d'un article publié dans les Hugging Face Daily Papers proposent Stateful Harness. Ce cadre pour modèles du monde sépare l'évolution du monde du rendu vidéo. Sur le nouveau benchmark WorldState-Bench, composé de 50 paires contrefactuelles, le meilleur des 11 backends vidéo, lorsqu'on lui fournit uniquement les règles dans le prompt, produit les dénouements attendus pour les deux cas dans 32% des paires. Le harness complet, avec la même MiniMax-H3 gelée, atteint 92%. Le modèle vidéo lui-même n'a pas été réentraîné.

Où les modèles du monde échouent

Les modèles du monde actuels savent générer une vidéo à partir d'une seule image, en tenant compte de l'action de l'utilisateur. Beaucoup misent sur le mouvement de caméra : on peut se promener dans la scène générée et regarder autour de soi. Mais la navigation ne dit rien de la soumission de l'action à des règles stables. Quand le résultat dépend d'un état absent de l'image courante, le modèle doit deviner. Par exemple, savoir si une porte s'ouvre dépend de son verrouillage, ce que l'image ne montre pas. Le modèle vidéo choisit le résultat le plus vraisemblable, pas celui qu'exigent les règles du monde.

Les auteurs appellent cela le problème de l'état caché. Il devient plus visible à mesure que la session s'allonge : chaque tour s'appuie sur ce qui s'est passé avant, et un modèle purement génératif vidéo n'a aucun endroit fiable où le stocker.

Comment fonctionne Stateful Harness

L'idée repose sur une séparation des rôles. Le harness gère le monde et ses règles, tandis que le modèle vidéo se contente d'en montrer le résultat. Un tour se déroule ainsi :

• le harness conserve l'état évolutif du monde selon des règles définies ;
• il résout l'action choisie par l'utilisateur et compile l'événement obtenu en une instruction textuelle ;
• un clip d'aperçu issu d'une scène 3D modifiable fournit un indice spatial et de caméra ;
• le modèle vidéo gelé effectue le rendu de l'événement ;
• le clip généré sert à mettre à jour l'état du monde avant le tour suivant.

Le dernier point boucle le cycle : le tour suivant s'appuie sur ce qui est réellement apparu à l'écran, et pas seulement sur l'enregistrement interne.

Benchmark et chiffres

Pour vérifier le respect des règles, les auteurs ont construit WorldState-Bench. Il comprend 50 paires jumelles contrefactuelles. Les deux éléments d'une paire partagent la même image initiale et la même action, mais ont un état caché et un résultat requis différents. Une paire n'est validée que si le modèle produit les bons dénouements dans les deux cas. Un modèle qui dessine toujours le même résultat typique échoue donc forcément sur la moitié de la paire.

Principaux résultats :

• 11 backends vidéo ont été testés avec un prompt contenant uniquement les règles ;
• le meilleur d'entre eux produit les dénouements attendus dans les deux cas pour 32% des paires ;
• MiniMax-H3, avec les dénouements requis indiqués explicitement, passe de 32% à 64% ;
• le harness complet, avec la même MiniMax-H3 gelée, atteint 92%.

Le gain se répartit à peu près à parts égales. Les 32 premiers points viennent du simple fait que la règle a été transformée en résultat concret dans le prompt. Les 28 points suivants proviennent du reste du harness : l'aperçu 3D, l'état conservé entre les tours et le retour d'information du clip. Le modèle vidéo n'est pas devenu plus intelligent : on a simplement cessé de lui confier un travail qui dépasse ses capacités.

Que faire de cela en pratique

Pour les équipes qui construisent des simulateurs interactifs, des prototypes de jeux ou des environnements d'entraînement pour agents, la conclusion est pragmatique : mieux vaut garder la logique du monde dans le code que demander au modèle vidéo de « s'en souvenir ». Les règles, l'inventaire, les serrures et les compteurs sont décrits explicitement, et le générateur reçoit une instruction prête à l'emploi. Cela simplifie aussi le débogage : une erreur de résultat se cherche dans une règle, pas dans les poids.

Il faut aussi rester prudent. Le benchmark est petit, avec seulement 50 paires, et il a été constitué par les auteurs eux-mêmes. Le chiffre de 92% montre que l'approche fonctionne sur cet ensemble, mais ne garantit pas le même résultat sur des scènes ouvertes comportant des centaines de règles. La latence, le coût d'un tour et la difficulté d'écrire des règles pour de nouveaux mondes ne sont pas précisés dans la description disponible, alors que ce sont des paramètres décisifs pour un produit.

Une étape utile dès maintenant : constituer vos propres paires contrefactuelles pour votre cas d'usage et y soumettre votre backend vidéo actuel. Si le résultat avoisine 32%, le problème vient probablement de l'architecture, et non du choix du modèle.