Robbyant dévoile LingBot-World-Infinity, un modèle causal pour mondes interactifs

Le 9 juillet 2026, Robbyant, filiale d'Ant Group, a présenté LingBot-World-Infinity, un modèle vidéo causal de 14 milliards de paramètres qui fonctionne comme un simulateur de mondes interactif. Sa particularité : le modèle génère de la vidéo en temps réel (720p, 60 images par seconde) et réagit aux commandes de l'utilisateur.

De quoi s'agit-il et pourquoi c'est important

LingBot-World-Infinity (version 2.0 de la série LingBot-World) est un modèle vidéo interactif qui prédit les images futures à partir des actions de l'utilisateur. Il traite simultanément des commandes textuelles, la position de la caméra virtuelle et les actions physiques du personnage : tirs, sorts, attaques, tir à l'arc.

Il s'attaque ainsi à deux problèmes classiques des modèles vidéo : la dérive de qualité sur les vidéos longues (les textures se brouillent, la géométrie se déforme) et la latence de réponse (le modèle n'arrive pas à réagir en temps réel).

• Version principale : 14 milliards de paramètres
• Version allégée : 1,3 milliard de paramètres, tourne sur un seul GPU
• Performances : vidéo 720p, 60 images par seconde
• Interaction : deux modes, commandes sémantiques directes et suivi d'objets via SAM

Comment il limite la dérive : l'architecture MoBA

Le cœur de la technologie est l'attention MoBA (Mixture of Bidirectional and Autoregressive). Le problème des modèles autorégressifs classiques : quand le contexte s'allonge, le modèle s'appuie sur lui au lieu de prédire de nouvelles images, ce qui dégrade la qualité et floute l'image.

MoBA ajoute un bloc d'attention bidirectionnelle comme régularisateur. Cela aide le modèle à prédire l'avenir à partir de toute l'information disponible, et pas seulement du contexte immédiat.

Le second composant est un entraînement en deux étapes avec distillation de distributions (DMD). Le modèle est d'abord entraîné à la génération conditionnelle de flux, puis un enseignant multi-étapes est compressé en une version rapide. Point critique : l'optimisation de la distillation s'applique à de longues trajectoires issues des propres prédictions du modèle, et pas seulement aux exemples de l'enseignant. L'élève s'optimise ainsi sur la même distribution d'états que celle qu'il génère lui-même, ce qui évite la dérive.

Mode interactif : Director et Pilot

LingBot-World-Infinity fonctionne au sein du Director-Pilot Co-Simulation Framework, un système de deux agents en interaction. Le Director est un modèle vision-langage (VLM) qui comprend la sémantique et la causalité et prend les décisions. Le Pilot est un Diffusion Transformer qui simule la physique et effectue le rendu des images.

Le système prend en charge deux modes d'interaction. En mode Direct Semantic Interaction, le VLM lit l'image courante et génère des événements sans avoir besoin de masques d'objets. En mode Tracking-Assisted Object Interaction, le modèle SAM (Segment Anything Model) suit les objets d'intérêt ; l'utilisateur sélectionne un objet et déclenche une action (par exemple, ouvrir une porte ou faire tourner une balle).

Par ailleurs, les utilisateurs peuvent modifier par commandes textuelles l'état global de la scène (heure du jour, météo) et ajouter des objets. Le VLM choisit automatiquement des positions sémantiquement cohérentes pour leur apparition.

Ce que cela signifie

LingBot-World-Infinity montre que les simulateurs vidéo interactifs quittent les laboratoires de recherche pour devenir des outils pratiques. Ces systèmes sont utiles pour développer des moteurs de jeu, entraîner la robotique par simulation et concevoir des interfaces utilisateur. L'amélioration des performances en temps réel les rend adaptés à un usage industriel.