AnyGameRenderer veste protótipos cinzentos feitos por IA com gráficos e preserva 62,9% das unidades

Agentes de programação aprenderam a montar pequenos jogos jogáveis em minutos, mas o resultado parece "arte de programador": caixas cinzentas, formas geométricas coloridas, manchas semânticas chapadas. Os pesquisadores do projeto AnyGameRenderer propõem fechar essa lacuna com um modelo de vídeo que recebe a gravação e a redesenha como uma imagem completa, com personagens, detalhes de movimento e efeitos. A métrica em que eles apostam é a preservação de entidades: a correspondência temporal subiu de 50,9% para 62,9% em relação ao modelo-base, e a parcela de mudanças perdidas na contagem de objetos caiu de 34,7% para 21,3%.

Vídeo no lugar de G-buffer

A maioria das abordagens de renderização neural para jogos exige muitos dados auxiliares do motor: G-buffer, rótulos de classe para cada objeto, proxies de baixa contagem de polígonos. Em jogos que um agente montou em meia hora, esse luxo não existe. O AnyGameRenderer trabalha com vídeo comum. Blockout cinza, primitivas coloridas, mapas semânticos e malhas wireframe servem igualmente como entrada. O modelo preserva o layout, a câmera, a posição e o timing de cada entidade, e cria por conta própria o estilo, os personagens e os efeitos.

Os autores declaram uma cobertura ampla de gêneros: tower defense, autobattlers, sobrevivência top-down, combates por turnos, kart e runners com multidão. Nesses jogos, a disciplina de contagem pesa muito: se a onda tinha 12 inimigos, a saída deve ter 12, e não 9 ou 15.

Onde os modelos de vídeo costumam perder unidades

Modelos generativos de vídeo desenham bem, mas contam mal. Em multidões, eles fundem personagens vizinhos, "esquecem" os que aparecem depois ou acrescentam personagens a mais. No cinema isso é tolerável; numa interface de jogo, não: o jogador acompanha uma unidade específica, e um objeto que surge ou some no quadro errado quebra a jogabilidade.

Por isso, os autores criaram um benchmark no nível de entidades: 59 casos reservados para teste, 753 entidades, com avaliação por bounding boxes de referência. O modelo é comparado ao modelo-base em três pontos: se os objetos coincidem ao longo do tempo, se as mudanças de quantidade são captadas e quantas entidades foram inventadas ou ficaram sem renderização. O AnyGameRenderer sai à frente em todos eles.

Com o que o modelo foi treinado

A base é o MiniMax-H3 ref2va, um modelo de vídeo de 33 bilhões de parâmetros que aceita um vídeo de referência como condição. Ele recebeu ajuste fino com LoRA no corpus sim10k, com cerca de 10 mil clipes pareados de três fontes:

• dados de renderização multipasse de 38 jogos feitos por agentes e exportados do GEAR, ferramenta de IA para criação de jogos;
• dados de dois passes do Unreal Engine, com multidões controladas por programação, variações no número de unidades e diferentes escalas de entidades;
• gravações reais de gameplay, cujos pares foram reconstruídos por meio de detecção de caixas 3D.

A primeira fonte fornece o lixo visual típico de entradas geradas por agentes, a segunda permite controlar com precisão a contagem e o surgimento de objetos, e a terceira acrescenta realismo. É uma combinação sensata: os dados sintéticos garantem anotações exatas, e as gravações reais protegem contra uma distribuição esterilizada demais.

Os números e o teto

• Correspondência temporal de entidades: 50,9% → 62,9%.
• Mudanças perdidas na contagem de objetos: 34,7% → 21,3%.
• Benchmark: 59 casos reservados para teste, 753 entidades.
• Base: MiniMax-H3 ref2va, 33B, ajuste fino com LoRA.
• Dados: cerca de 10 mil clipes pareados de três fontes.

A melhora é perceptível, mas 62,9% significa que mais de um terço das entidades ainda não coincide com a referência ao longo do tempo. Para produção, isso é pouco. Para protótipos rápidos e pitches, basta: dá para obter, sem artista, um visual que pode ser mostrado a um investidor ou a jogadores num playtest inicial.

A conclusão prática para a indústria é que a combinação "o agente escreve o jogo, o modelo de vídeo o desenha" ganha plausibilidade. Estúdios indie e autores de protótipos podem usar builds cinzentas como roteiro para a visualização. Quem desenvolve ferramentas como o GEAR deveria incluir na exportação clipes limpos, com semântica de entidades clara. Já quem constrói renderizadores próprios deveria migrar das métricas genéricas de qualidade de imagem para métricas de preservação de objetos: é ali que hoje passa a fronteira entre um vídeo bonito e gráficos realmente utilizáveis em jogo.