Tencent abre o código do Hy-Nomas: mundo em vídeo com memória, em 720p, roda em uma única RTX 4090

Os modelos de vídeo comuns são como uma câmera com memória curta: geram um clipe e, a partir daí, cada novo trecho corre o risco de seguir o próprio caminho. A sala que você acabou de ver parece diferente dez segundos depois. A Tencent liberou em acesso aberto o Hy-Nomas, um "modelo de mundo" que constrói um espaço virtual em segmentos e leva em conta o que já foi mostrado.

Um exemplo: você caminha por uma rua gerada, escreve "faça chover" e vira a câmera para trás. A rua deve continuar a mesma, só que molhada. A memória fica no KV-cache (o cache dos estados internos do transformer), a imagem sai em 720p a 24 quadros por segundo, e o modelo roda em uma única placa de vídeo RTX 4090 com 24 GB de memória.

Para o desenvolvedor, é a chance de testar esse tipo de modelo localmente, sem cluster, mas com ressalvas que aparecem a seguir.

O que o Hy-Nomas faz

O modelo gera o mundo segmento por segmento. O usuário altera o que acontece com comandos de texto, controla o movimento da câmera e continua a geração levando em conta as cenas anteriores. Para não perder o fio entre os trechos de vídeo, o Hy-Nomas guarda o contexto no KV-cache: o modelo não precisa "reler" todo o histórico a cada vez. Em compensação, o histórico ativo é limitado, então a memória do modelo não é infinita.

A saída é um vídeo em 720p com 24 quadros por segundo, e a geração usa 8 passos de difusão. É um número relativamente baixo: a abordagem prioriza a praticidade, e não a máxima qualidade a qualquer custo.

Como é por dentro e como rodar

A arquitetura é um MMDiT autorregressivo por segmentos, com 54 blocos. O texto é interpretado pelo codificador Qwen2.5-VL-7B. A compressão de vídeo fica a cargo do DCAE-V, e a decodificação, do PixelUMM. Entre as variantes prontas há adaptadores LoRA (pequenos módulos adicionais com ajuste fino) chamados Cinematic e Robotics. O segundo foi adaptado, inclusive, com dados de vídeo de manipuladores robóticos, então o modelo pode ser testado não só para cenas bonitas, mas também para simular como o braço de um robô lida com objetos.

Para quem não tem uma sala de servidores, a Tencent previu a execução em uma única RTX 4090 com 24 GB de VRAM. Para isso, entram em ação a quantização INT8/FP8, a limitação do histórico ativo e o descarregamento de parte dos dados para a CPU. Mas isso não significa geração em tempo real: a Tencent não divulgou a velocidade oficial na RTX 4090, então não espere resposta de jogo. Será preciso aguardar cada segmento.

Há ainda uma segunda limitação: isso é vídeo. Não existe exportação para 3D, ou seja, não dá para carregar a cena em um motor de jogo e caminhar livremente por ela. O que você recebe é uma sequência de quadros que parece um mundo.

Licença e ecossistema

O projeto foi lançado sob a Apache 2.0, que permite inclusive uso comercial. No entanto, alguns componentes de terceiros podem ter licenças próprias, por isso vale verificar toda a cadeia antes de ir para produção, incluindo o codificador e os decodificadores.

A força do lançamento aberto já aparece: surgiram integrações de terceiros para ComfyUI, SGLang, WanGP e Reactor, além dos primeiros aplicativos experimentais. Ontem, a Tencent incluiu o Prelulu na lista de projetos de terceiros: seus autores mostram minidramas interativos com diálogos e variações no rumo da história. É uma boa pista de para onde esses modelos caminham: não para o "jogo dos sonhos", mas para o vídeo interativo, em que o espectador influencia o enredo.

O que fazer com isso

Se você desenvolve ferramentas criativas ou protótipos de jogos, vale instalar e testar o Hy-Nomas: demo, código e pesos já estão disponíveis, e o nó para ComfyUI encaixa o modelo no pipeline habitual. Para quem trabalha com robótica, o adaptador Robotics é interessante como forma de obter vídeos sintéticos de manipulações. Quem cuida de produto deve avaliar se o usuário aguenta a espera pela geração em cenários como histórias interativas e simulações de treinamento.

Não se deve esperar do lançamento um substituto pronto para um motor de jogo: não há 3D, não há tempo real confirmado e a memória é limitada. Mas, como base aberta para experimentos com mundos que lembram da própria história, é uma das opções mais acessíveis hoje.