AnyGameRenderer habille de graphismes les prototypes gris conçus par IA et conserve les unités à 62,9%

Les agents de code savent désormais assembler en quelques minutes de petits jeux jouables, mais le résultat ressemble à de l'« art de programmeur » : boîtes grises, formes géométriques colorées, aplats sémantiques. Les chercheurs du projet AnyGameRenderer proposent de combler cet écart avec un modèle vidéo qui prend un tel enregistrement et le redessine en image complète, avec personnages, détails de mouvement et effets. La métrique sur laquelle ils insistent est la préservation des entités : la concordance temporelle passe de 50,9% à 62,9% par rapport au modèle de base, et la part des changements du nombre d'objets manqués tombe de 34,7% à 21,3%.

De la vidéo plutôt que du G-buffer

La plupart des approches du rendu neuronal de jeux exigent beaucoup de données auxiliaires de la part du moteur : G-buffer, étiquettes de classe pour chaque objet, proxys low-poly. Pour des jeux qu'un agent a assemblés en une demi-heure, un tel luxe n'existe pas. AnyGameRenderer travaille avec une vidéo ordinaire. Un blockout gris, des primitives colorées, des cartes sémantiques et des maillages filaires conviennent tous de la même façon. Le modèle conserve la disposition, la caméra, la position et le timing de chaque entité, puis dessine lui-même le style, les personnages et les effets.

L'éventail de genres annoncé est large : tower defense, auto battlers, survie en vue de dessus, combats au tour par tour, karting et runners avec foule. Dans ces jeux, la rigueur du décompte compte particulièrement : si une vague comptait 12 ennemis, la sortie doit en montrer 12, pas 9 ni 15.

Où les modèles vidéo perdent généralement des unités

Les modèles vidéo génératifs dessinent bien, mais comptent mal. Dans une foule, ils fusionnent des personnages voisins, « oublient » ceux qui apparaissent plus tard ou en ajoutent de superflus. Au cinéma, c'est tolérable ; pour une interface de jeu, non : le joueur suit une unité précise, et un objet qui apparaît ou disparaît à la mauvaise image casse le gameplay.

Les auteurs ont donc conçu un benchmark au niveau des entités : 59 cas de test mis de côté, 753 entités, évaluation à partir de boîtes englobantes de référence. Ils comparent le modèle à la base selon trois critères : les objets coïncident-ils dans le temps, les changements d'effectif sont-ils détectés, et combien d'entités sont inventées ou restent non rendues. AnyGameRenderer l'emporte sur chacun de ces points.

Sur quoi le modèle a été entraîné

Le socle est MiniMax-H3 ref2va, un modèle vidéo de 33 milliards de paramètres qui accepte une vidéo de référence comme condition. Il a été fine-tuné via LoRA sur le corpus sim10k, soit environ 10 mille paires de clips issues de trois sources :

• des données de rendu multi-flux provenant de 38 jeux créés par des agents et exportés depuis GEAR, un outil d'IA de création de jeux ;
• des données à deux flux issues d'Unreal Engine, avec foules pilotées par programme, variations du nombre d'unités et échelles d'entités ;
• des enregistrements de gameplay réel, dont les paires ont été reconstruites par détection de boîtes 3D.

La première source fournit en entrée le « bruit visuel » typique des agents, la deuxième permet de contrôler précisément le décompte et l'apparition des objets, la troisième apporte du réalisme. Le choix est raisonnable : la synthèse garantit un étiquetage exact, tandis que les enregistrements réels évitent une distribution trop stérile.

Les chiffres et leur plafond

• Concordance temporelle des entités : 50,9% → 62,9%.
• Changements du nombre d'objets manqués : 34,7% → 21,3%.
• Benchmark : 59 cas de test mis de côté, 753 entités.
• Base : MiniMax-H3 ref2va, 33B, fine-tuning LoRA.
• Données : environ 10 mille paires de clips issues de trois sources.

L'amélioration est notable, mais 62,9% signifie que plus d'un tiers des entités ne coïncident toujours pas avec la référence dans le temps. C'est insuffisant pour la production. Pour des prototypes rapides et des pitchs, cela suffit : on obtient, sans artiste, un visuel présentable à un investisseur ou à des joueurs lors d'un premier playtest.

Enseignement pratique pour l'industrie : le tandem « l'agent écrit le jeu, le modèle vidéo le dessine » devient crédible. Les studios indépendants et les auteurs de prototypes peuvent utiliser les builds gris comme scénario de visualisation. Les développeurs d'outils comme GEAR gagneraient à prévoir dans l'export des clips propres, avec une sémantique d'entités claire. Quant à ceux qui construisent leurs propres moteurs de rendu, ils devraient passer des métriques génériques de qualité d'image à des métriques de préservation des objets : c'est aujourd'hui là que passe la frontière entre une jolie vidéo et des graphismes réellement jouables.