Odyssey-3 : comment un modèle vidéo enseigne la physique aux robots en quelques dizaines d'heures

Qu'est-ce qu'un modèle du monde

Un modèle du monde prédit l'état suivant du monde physique : il reçoit une image vidéo et une action (une commande, un coup, une poussée), et produit ce qui se passe ensuite. Odyssey-3 tente de rendre un tel modèle universel et suffisamment efficace pour piloter des systèmes réels.

L'entreprise Odyssey a été fondée en 2023 par Oliver Cameron et Jeff Hawke, qui ont passé dix ans sur les voitures autonomes. Leur raisonnement est direct : une machine doit prédire son environnement. Ils ont constaté que la robotique progresse via des systèmes étroits — chacun conçu pour une seule tâche, chacun exigeant un volume énorme de données spécifiques.

Un humain, lui, peut à 18 ans s'installer devant une machine dangereuse et apprendre à l'utiliser, parce qu'il a observé toute sa vie comment les objets se déplacent, réagissent à une force, et à quel point les collisions sont dangereuses. Odyssey mise sur le même principe : un socle universel issu de l'observation vidéo, puis quelques dizaines d'heures de données spécifiques pour une machine donnée.

Comment le modèle est construit

L'architecture est un transformeur de diffusion autorégressif. L'entraînement repose sur trois types de données :

• Vidéos internet annotées d'événements dans le temps et vérifiées selon un schéma — apporte une large compréhension • Enregistrements de gameplay avec touches et mouvements de souris synchronisés — apporte le lien entre action et conséquence • Simulations d'interactions de corps rigides avec légendes et métadonnées — apporte une physique précise, où le résultat exact est connu

Pendant l'entraînement, le modèle devient autorégressif via le teacher forcing : on lui montre les images précédentes réelles et on lui interdit de regarder le futur. Une distillation (distribution-matching et distillation adversariale) est ensuite appliquée — elle transforme le processus de diffusion lent en un processus rapide, exécuté en quelques étapes. C'est cette version allégée qui fonctionne dans le navigateur.

Il existe deux modèles : Odyssey-3 en résolution 832×480 et Odyssey-3 Pro en 1280×720. On se déplace dans le monde généré à la première ou à la troisième personne, on déplace la caméra séparément, et pendant la génération on injecte des événements pour observer la réaction du monde.

Des résultats records, mais nuancés

Sur le benchmark Physics-IQ Verified (Anates Labs et DeepMind), Odyssey-3 Pro atteint 66,1 % en mode vidéo-vers-vidéo, mais c'est en mode best-of-8 — le meilleur résultat parmi huit tentatives est retenu. Les valeurs habituelles sont plus modestes : 63,4 % avec des prompts améliorés, 52,8–54,7 % en mode image-vers-vidéo.

Sur WorldMark (qui mesure le respect des commandes, la qualité des scènes, la mémoire du monde), Odyssey arrive en tête dans les catégories à la troisième personne (79,0 et 76,3 %), mais seulement troisième dans les mondes réels à la première personne (80,6 contre le leader Lyra 2.0 avec 84,4). L'écart n'est parfois que de 0,2 point. Point important : les évaluations WorldMark ont été réalisées par l'entreprise elle-même, pas par une vérification indépendante.

De la vidéo au matériel

Pour appliquer le modèle à un robot spécifique, le socle reste figé, et un petit module entraînable est ajouté pour traduire les représentations en commandes. Voici ce qui est présenté :

• Bras manipulateurs : avec quelques dizaines d'heures de démonstrations, ils exécutent « verser des céréales dans un bol », « fermer une boîte de vis », et montrent une capacité de récupération sans apprentissage explicite (réorientation de la prise après un échec). Partenariat avec Poke & Wiggle • Humanoïdes (Flexion) : les politiques généralisent mieux face aux changements d'éclairage et d'environnement que les modèles VLA • Voitures : après 20 heures de conduite simulée, elles roulent sur de vraies rues en Inde en prédisant les points de passage. Les politiques entraînées entièrement en simulation parcourent 77 % de la distance atteinte par des politiques entraînées sur données réelles • Drones : navigation après quelques dizaines d'heures de simulation, contournement stable d'obstacles (dans une pièce simulée) • Jeux vidéo : les politiques jouent à GTA V, se transfèrent à l'équitation dans Red Dead Redemption 2 et à la moto dans Sleeping Dogs sans réentraînement • Données multi-caméras : après 100 étapes d'entraînement, le modèle produit une vidéo depuis trois caméras frontales d'une voiture

Le modèle du monde fonctionne aussi comme terrain d'entraînement pour d'autres agents. Le projet PROWL : des agents repèrent les failles du modèle, ce qui l'améliore, et des mondes plus fiables entraînent à leur tour les agents. À côté, Agora-2 (plusieurs agents dans un même monde) et Starchild-1 (dépassement de l'apprentissage purement visuel).

Ce qui doit alerter

Les 66,1 % record proviennent d'un mode best-of-8, et les évaluations WorldMark ont été menées par l'entreprise elle-même. Risque de cherry-picking : on voit les démonstrations réussies, pas les échecs. Physics-IQ évalue la continuation d'une expérience, pas la qualité du pilotage d'un robot. Beaucoup de démonstrations se font en simulateur, et « quelques dizaines d'heures de données » reste un volume non négligeable. Aucun prix public, aucune licence, aucune documentation d'API n'ont été dévoilés ; l'accès développeur se fait sur demande.

À la décharge des auteurs : ils écrivent honnêtement que les modèles du monde accusent environ deux ordres de grandeur de retard sur les LLM, et reconnaissent que la robustesse selon les robots reste une question ouverte.

Odyssey-3 tente de faire pour le monde physique ce que les LLM ont fait pour le texte : un socle préentraîné unique, puis quelques heures de données spécifiques, et la tâche est prête. Pour l'instant, c'est un mélange de résultats réels et de promesses encore à vérifier. La preview est accessible directement dans le navigateur.