Robbyant выпустила LingBot-World-Infinity — каузальную модель для интерактивных миров

Le 9 juillet 2026, Robbyant, une division d'Ant Group, a présenté LingBot-World-Infinity — un modèle vidéo causal avec 14 milliards de paramètres qui fonctionne comme un simulateur de mondes interactifs. La caractéristique clé : le modèle génère de la vidéo en temps réel (720p, 60 images par seconde) et répond aux commandes utilisateur.

Qu'Est-ce Que C'est et Pourquoi C'est Important

LingBot-World-Infinity (version 2.0 de la série LingBot-World) — un modèle vidéo interactif qui prédit les images vidéo futures en fonction des actions de l'utilisateur. Le modèle traite simultanément les commandes texte, la position de la caméra virtuelle et les actions physiques du personnage : tir, sortilèges, attaques, tir à l'arc.

Cela résout deux problèmes classiques des modèles vidéo : la dégradation de qualité dans les longues vidéos (les textures s'estompent, la géométrie se déforme) et la latence de réponse (le modèle ne peut pas réagir en temps réel).

• Version principale : 14 milliards de paramètres
• Version allégée : 1,3 milliard de paramètres, fonctionne sur un seul GPU
• Performance : vidéo 720p, 60 images par seconde
• Interaction : deux modes — commandes sémantiques directes et suivi d'objets via SAM

Comment Elle Résout la Dérive : Architecture MoBA

Le cœur de la technologie est l'attention de type MoBA (Mixture of Bidirectional and Autoregressive). Le problème avec les modèles autoréggressifs standard : à mesure que le contexte grandit, le modèle commence à dépendre de celui-ci au lieu de prédire de nouvelles images, ce qui entraîne une dégradation de la qualité et un flou de l'image.

MoBA ajoute un bloc d'attention bidirectionnel comme régularisateur. Cela aide le modèle à prédire l'avenir en s'appuyant sur toutes les informations disponibles, plutôt que sur le contexte le plus proche.

Le deuxième composant est l'entraînement en deux étapes avec distillation de distributions (DMD). D'abord, le modèle est entraîné sur la génération conditionnelle de flux, puis l'enseignant multi-étapes est compressé dans une version rapide. Le point critique : l'optimisation de la distillation est appliquée aux longues trajectoires des propres prédictions du modèle, et pas seulement aux exemples de l'enseignant. Cela force l'étudiant à s'optimiser sur la même distribution d'états qu'il génère, prévenant la dérive.

Mode Interactif : Director et Pilot

LingBot-World-Infinity fonctionne dans le cadre du Director-Pilot Co-Simulation Framework — un système de deux agents en interaction. Le Director est un modèle vidéo-langage (VLM) qui comprend la sémantique, la causalité et prend des décisions. Le Pilot est un Diffusion Transformer qui simule la physique et rend les images vidéo.

Le système supporte deux modes d'interaction. En mode Direct Semantic Interaction, le VLM lit l'image actuelle et génère des événements sans nécessiter de masques d'objets. En mode Tracking-Assisted Object Interaction, le modèle SAM (Segment Anything Model) suit les objets d'intérêt, l'utilisateur sélectionne un objet et lance une action (par exemple, ouvre une porte ou fait tourner une balle).

De plus, les utilisateurs peuvent utiliser des commandes texte pour modifier l'état global de la scène (heure du jour, météo) et ajouter des objets. Le VLM sélectionne automatiquement des positions sémantiquement appropriées pour leur apparition.

Ce Que Cela Signifie

LingBot-World-Infinity démontre que les simulateurs vidéo interactifs font la transition des laboratoires de recherche aux outils pratiques. De tels systèmes sont utiles pour le développement de moteurs de jeux, l'entraînement de la robotique par simulation et la conception d'interfaces utilisateur. Les performances croissantes en temps réel les rendent appropriées pour les applications industrielles.