Odyssey-3: cómo un modelo de video enseña física a los robots en decenas de horas

Qué es un modelo de mundo

Un modelo de mundo predice el siguiente estado del mundo físico: recibe un fotograma de video y una acción (una orden, un golpe, un empujón) y genera cómo se ve lo que viene después. Odyssey-3 es un intento de convertir ese tipo de modelo en algo general y lo bastante eficiente como para controlar sistemas reales.

Odyssey fue fundada en 2023 por Oliver Cameron y Jeff Hawke, quienes pasaron diez años trabajando en vehículos autónomos. Su razonamiento es directo: un coche necesita predecir su entorno. Vieron que la robótica avanzaba mediante sistemas estrechos, cada uno diseñado para una sola tarea y cada uno necesitando un enorme volumen de datos específicos.

Un ser humano, en cambio, puede sentarse a los 18 años frente a una máquina peligrosa y aprender a manejarla, porque toda su vida ha observado cómo se mueven los objetos, cómo reaccionan a la fuerza y por qué son peligrosas las colisiones. Odyssey apuesta por lo mismo: una base universal construida a partir de observaciones en video, seguida de unas pocas decenas de horas de datos específicos para cada máquina.

Cómo funciona el modelo

La arquitectura es un transformer de difusión autorregresivo. El entrenamiento se apoya en tres tipos de datos:

• Video de internet etiquetado con eventos marcados en el tiempo y verificado mediante un esquema, que aporta amplitud de comprensión • Grabaciones de videojuegos sincronizadas con las pulsaciones del teclado y los movimientos del ratón, que aportan la conexión entre acción y consecuencia • Simulaciones de interacción de cuerpos rígidos con descripciones y metadatos, que aportan una física precisa con un resultado conocido de antemano

Durante el entrenamiento, el modelo se vuelve autorregresivo mediante teacher forcing: se le muestran fotogramas anteriores reales y se le impide adelantarse al futuro. Luego se aplica destilación (distribution-matching y destilación adversarial), que convierte el lento proceso de difusión en uno rápido que funciona en pocos pasos. Esta versión ligera es la que corre en el navegador.

Hay dos modelos: Odyssey-3, con resolución de 832×480, y Odyssey-3 Pro, con 1280×720. El usuario camina por el mundo generado en primera o tercera persona, mueve la cámara de forma independiente e inyecta eventos durante la generación para ver cómo reacciona el mundo.

Resultados: récords con matices

En el benchmark Physics-IQ Verified (de Anates Labs y DeepMind), Odyssey-3 Pro obtuvo un 66.1% en modo video a video, pero se trata del modo best-of-8, donde se elige el mejor resultado entre ocho intentos. Los valores habituales son más modestos: 63.4% con prompts mejorados, y entre 52.8% y 54.7% en modo imagen a video.

En WorldMark (que mide la fidelidad al control, la calidad de las escenas y la memoria del mundo), Odyssey ocupó el primer puesto en las categorías de tercera persona (79.0% y 76.3%), pero solo el tercero en mundos reales en primera persona (80.6 frente al líder Lyra 2.0, con 84.4). La diferencia a veces es de apenas 0.2 puntos. Es importante señalar que las evaluaciones de WorldMark las realizó la propia empresa, no una verificación independiente.

Del video al hardware

Para aplicar el modelo a un robot concreto, la base permanece congelada y se añade un pequeño módulo entrenable que traduce las representaciones en órdenes. Esto es lo que se ha mostrado:

• Brazos manipuladores: con decenas de horas de demostraciones, realizan tareas como "verter cereales en un bol" o "cerrar una caja de tornillos", y muestran recuperación sin entrenamiento explícito (reorientan el agarre tras fallar). Colaboración con Poke & Wiggle • Humanoides (Flexion): las políticas generalizan mejor ante cambios de iluminación y entorno que los modelos VLA • Automóviles: tras 20 horas de conducción simulada, circulan por calles reales de India prediciendo puntos de ruta. Las políticas entrenadas en simulación completa cubren el 77% de la distancia que logran las políticas entrenadas con datos reales • Drones: navegación tras decenas de horas de simulación, con esquiva estable de obstáculos (en una sala simulada) • Videojuegos: las políticas juegan a GTA V y se transfieren a montar a caballo en Red Dead Redemption 2 y a conducir motocicletas en Sleeping Dogs sin reentrenamiento • Datos multicámara: tras 100 pasos de entrenamiento, genera video a partir de tres cámaras frontales de un automóvil

El modelo de mundo también funciona como entrenador para otros agentes. El proyecto PROWL hace que los agentes busquen los puntos débiles del modelo, lo que lo mejora, y esos mundos más fiables entrenan a su vez a los agentes. Junto a él están Agora-2 (varios agentes en un mismo mundo) y Starchild-1 (que va más allá del aprendizaje visual).

Qué debería generar cautela

El llamativo 66.1 es un resultado best-of-8, y las evaluaciones de WorldMark las hizo la propia empresa. Hay cierto elemento de cherry-picking: se ven los videos que salieron bien, no los que fallaron. Physics-IQ evalúa la continuidad de un experimento, no la calidad del control de un robot. Muchas demostraciones se hacen en simulador, y "decenas de horas de datos" sigue siendo un volumen considerable. No se han revelado precios públicos, licencias ni documentación de la API; el acceso para desarrolladores es solo bajo solicitud.

A favor de los autores, hay que decir que reconocen con honestidad que los modelos de mundo siguen aproximadamente dos órdenes de magnitud por detrás de los LLM, y admiten que la robustez en distintos robots sigue siendo una cuestión abierta.

Odyssey-3 es un intento de hacer por el mundo físico lo que los LLM hicieron por el texto: una base preentrenada única, seguida de unas horas de datos específicos, y la tarea queda lista. Por ahora, es una mezcla de logros reales y promesas por verificar. La vista previa se puede probar directamente en el navegador.