Stateful Harness eleva del 32% al 92% la precisión de los modelos de mundo con estado oculto

Los autores de un artículo publicado en Hugging Face Daily Papers proponen Stateful Harness, un armazón para modelos de mundo que separa la evolución del mundo del renderizado de vídeo. En el nuevo benchmark WorldState-Bench, con 50 pares contrafactuales, el mejor de 11 backends de vídeo, con un prompt que solo incluye las reglas, genera los desenlaces correctos para ambos casos en el 32% de los pares. El harness completo, con la misma MiniMax-H3 congelada, llega al 92%. El modelo de vídeo, además, no se reentrenó.

Dónde fallan los modelos de mundo

Los modelos de mundo actuales saben generar vídeo a partir de una sola imagen según la acción del usuario. Muchos ponen el foco en el movimiento de cámara: se puede caminar por la escena generada y mirar alrededor. Pero la navegación no dice nada sobre si la acción obedece a reglas estables. Cuando el desenlace depende de un estado que no aparece en el fotograma actual, el modelo tiene que adivinar. Por ejemplo, que una puerta se abra o no depende de si está cerrada con llave, algo que no se ve en la imagen. El modelo de vídeo elige el desenlace más verosímil, no el que exigen las reglas del mundo.

Los autores llaman a esto el problema del estado oculto. Cuanto más larga es la sesión, más se nota: cada turno se apoya en lo ocurrido antes, y un modelo puramente generativo de vídeo no tiene un lugar fiable donde guardarlo.

Cómo funciona Stateful Harness

La idea es separar los papeles. El harness lleva el mundo y sus reglas, y el modelo de vídeo solo muestra el resultado. Cada turno funciona así:

• el harness almacena el estado del mundo, que evoluciona según las reglas definidas;
• resuelve la acción elegida por el usuario y compila el evento resultante en una instrucción de texto;
• un clip de previsualización de una escena 3D editable aporta una pista espacial y de cámara;
• el modelo de vídeo congelado renderiza el evento;
• el clip generado se usa para actualizar el estado del mundo antes del siguiente turno.

El último paso cierra el ciclo: el siguiente turno se apoya en lo que realmente apareció en pantalla, y no solo en el registro interno.

El benchmark y las cifras

Para comprobar el cumplimiento de las reglas, los autores crearon WorldState-Bench: 50 pares gemelos contrafactuales. Cada par comparte el fotograma inicial y la acción, pero difiere en el estado oculto y en el desenlace requerido. Un par solo cuenta como acierto si el modelo genera los desenlaces correctos en ambos casos. Por eso, un modelo que dibuja siempre el mismo desenlace típico falla garantizadamente la mitad del par.

Resultados clave:

• se evaluaron 11 backends de vídeo con un prompt que solo contiene las reglas;
• el mejor de ellos genera los desenlaces correctos en ambos casos en el 32% de los pares;
• MiniMax-H3 con los desenlaces requeridos indicados de forma explícita sube del 32% al 64%;
• el harness completo con la misma MiniMax-H3 congelada alcanza el 92%.

La mejora se reparte más o menos a partes iguales. Los primeros 32 puntos se deben al simple hecho de convertir la regla en un desenlace concreto dentro del prompt. Otros 28 puntos los aporta el resto del harness: la previsualización 3D, el estado entre turnos y la retroalimentación del clip. El modelo de vídeo no se volvió más inteligente: simplemente dejó de encargársele un trabajo que no puede hacer.

Qué hacer con esto en la práctica

Para los equipos que construyen simuladores interactivos, prototipos de juegos o entornos de entrenamiento para agentes, la conclusión es pragmática: la lógica del mundo conviene mantenerla en código, en lugar de pedirle al modelo de vídeo que la «recuerde». Las reglas, el inventario, las cerraduras y los contadores se describen de forma explícita, y el generador recibe una instrucción ya preparada. Eso también simplifica la depuración: un error en el desenlace se puede localizar en una regla, y no en los pesos.

También hay que ser prudentes. El benchmark es pequeño, solo 50 pares, y lo crearon los propios autores. El 92% demuestra que el enfoque funciona en este conjunto, pero no garantiza el mismo resultado en escenas abiertas con cientos de reglas. La latencia, el coste de cada turno y la dificultad de escribir reglas para mundos nuevos no se detallan en la descripción disponible, y para un producto son parámetros decisivos.

Un paso útil desde ya: construir pares contrafactuales propios para tu tarea y pasar por ellos el backend de vídeo actual. Si el resultado se acerca al 32%, lo más probable es que el problema esté en la arquitectura y no en la elección del modelo.