Stateful Harness eleva a precisão de modelos de mundo de 32% para 92% em estado oculto

Os autores de um artigo do Hugging Face Daily Papers propuseram o Stateful Harness, uma estrutura para modelos de mundo que separa a evolução do mundo da renderização de vídeo. No novo benchmark WorldState-Bench, com 50 pares contrafactuais, o melhor dos 11 backends de vídeo gera os desfechos necessários nos dois casos em 32% dos pares quando o prompt traz apenas as regras. O harness completo, com a mesma MiniMax-H3 congelada, chega a 92%. O modelo de vídeo em si não passou por novo treinamento.

Onde os modelos de mundo falham

Os modelos de mundo atuais conseguem gerar vídeo a partir de uma única imagem, levando em conta a ação do usuário. Muitos priorizam o movimento de câmera: é possível andar pela cena gerada e olhar ao redor. Mas a navegação não diz nada sobre se a ação obedece a regras estáveis. Quando o desfecho depende de um estado que não aparece no quadro atual, o modelo precisa adivinhar. Por exemplo, se uma porta abre ou não depende de ela estar trancada, e isso não se vê na imagem. O modelo de vídeo escolhe o desfecho mais verossímil, não o que as regras do mundo exigem.

Os autores chamam isso de problema do estado oculto. Quanto mais longa a sessão, mais evidente ele fica: cada novo turno depende do que aconteceu antes, e um modelo puramente generativo de vídeo não tem um lugar confiável para guardar essa informação.

Como funciona o Stateful Harness

A ideia é separar os papéis. O harness conduz o mundo e suas regras, e o modelo de vídeo apenas mostra o resultado. Um turno funciona assim:

• o harness mantém o estado do mundo, que evolui segundo regras definidas;
• ele resolve a ação escolhida pelo usuário e compila o evento resultante em uma instrução de texto;
• um clipe de prévia, gerado a partir de uma cena 3D editável, fornece uma dica espacial e de câmera;
• o modelo de vídeo congelado renderiza o evento;
• o clipe gerado é usado para atualizar o estado do mundo antes do turno seguinte.

O último passo fecha o ciclo: o turno seguinte se apoia no que de fato apareceu na tela, e não apenas no registro interno.

Benchmark e números

Para verificar o cumprimento das regras, os autores criaram o WorldState-Bench: 50 pares gêmeos contrafactuais. Cada par compartilha o quadro inicial e a ação, mas tem estado oculto e desfecho exigido diferentes. O par só conta como acerto se o modelo gerar os desfechos corretos nos dois casos. Por isso, um modelo que sempre desenha o mesmo desfecho típico falha com certeza em metade do par.

Principais resultados:

• 11 backends de vídeo foram testados com prompt contendo apenas as regras;
• o melhor deles entrega os desfechos necessários nos dois casos em 32% dos pares;
• a MiniMax-H3 com os desfechos exigidos indicados explicitamente sobe de 32% para 64%;
• o harness completo, com a mesma MiniMax-H3 congelada, chega a 92%.

O ganho se divide aproximadamente ao meio. Os primeiros 32 pontos percentuais vieram do simples fato de a regra ter sido convertida em um desfecho concreto no prompt. Os outros 28 pontos vieram do restante do harness: a prévia em 3D, o estado mantido entre os turnos e o retorno do clipe gerado. O modelo de vídeo não ficou mais inteligente; apenas deixou de receber um trabalho que não consegue fazer.

O que fazer com isso na prática

Para equipes que desenvolvem simuladores interativos, protótipos de jogos ou ambientes de treino para agentes, a conclusão é pé no chão: a lógica do mundo deve ficar no código, em vez de pedir ao modelo de vídeo que a "lembre". Regras, inventário, fechaduras e contadores são descritos de forma explícita, e o gerador recebe a instrução pronta. Isso também facilita a depuração: um erro no desfecho pode ser encontrado na regra, e não nos pesos.

É preciso ter cautela também. O benchmark é pequeno, com apenas 50 pares, e foi montado pelos próprios autores. Os 92% mostram que a abordagem funciona nesse conjunto, mas não garantem o mesmo resultado em cenas abertas com centenas de regras. Latência, custo por turno e a dificuldade de escrever regras para novos mundos não aparecem na descrição disponível, e, para um produto, esses são parâmetros decisivos.

Um passo útil já: montar pares contrafactuais próprios para o seu caso e rodar o backend de vídeo atual neles. Se o resultado ficar perto de 32%, o problema provavelmente está na arquitetura, e não na escolha do modelo.