Yann LeCun presenta LeWorldModel, un modelo JEPA que aprende de píxeles sin colapso de representaciones

Un equipo de investigadores dirigido por Yann LeCun ha presentado LeWorldModel, o LeWM, un nuevo world model para entrenar agentes directamente con datos de píxeles. Los autores afirman que el modelo resuelve uno de los principales problemas del enfoque JEPA, el colapso de representaciones, y que además acelera notablemente la planificación.

Por qué se rompe JEPA

Los agentes necesitan world models para construir un mapa interno compacto del entorno y evaluar acciones en el espacio latente, no en fotogramas en bruto. Pero al entrenar directamente con imágenes, estos sistemas suelen caer en el representation collapse: escenas distintas empiezan a codificarse de forma demasiado parecida, y el modelo cumple formalmente la tarea de predicción pero pierde la estructura útil del mundo. Por ello, los desarrolladores deben asegurar el entrenamiento con recursos auxiliares como stop-gradient, EMA, codificadores congelados y funciones de pérdida de varios componentes.

El problema es especialmente grave para agentes que deben planificar largas cadenas de acciones: si el espacio latente se degenera, el planificador deja de distinguir los escenarios buenos de los malos.

Cómo funciona LeWM

LeWM intenta eliminar esa complejidad. La arquitectura tiene dos partes principales: un codificador que convierte un fotograma en una representación latente compacta, y un predictor que estima el siguiente estado a partir del estado actual y la acción. La implementación usa un ViT-Tiny de unos 5 millones de parámetros y un predictor transformer de unos 10 millones, de modo que todo el sistema cabe en 15 millones de parámetros y, según los autores, se entrena en una sola GPU en unas horas.

La idea clave es no acumular objetivos auxiliares y quedarse solo con la predicción del siguiente embedding y el regularizador SIGReg. SIGReg obliga a que los vectores latentes se mantengan diversos y cercanos a una distribución gaussiana isótropa. Para ello, el modelo no mira todo el espacio a la vez, sino un conjunto de proyecciones unidimensionales aleatorias y comprueba sus estadísticas. Este enfoque debería reducir el riesgo de representaciones degeneradas sin una pesada infraestructura de ingeniería.

En la práctica, LeWM conserva un único hiperparámetro realmente importante, el peso de regularización λ, mientras que PLDM, su alternativa end-to-end más cercana, tiene bastantes más ajustes de este tipo. Los autores señalan también que un dropout de 0,1 en el predictor y una pequeña capa de proyección tras el codificador ayudaron a la estabilidad.

Qué mostraron las pruebas

Según el artículo, LeWM resultó no solo más estable durante el entrenamiento, sino también más rápido al planificar. Los autores lo comparan con PLDM y DINO-WM en tareas de navegación, manipulación y control en entornos 2D y 3D. El modelo trabaja directamente con píxeles, sin un codificador foundation congelado y sin depender de tareas que requieran recompensa, y aun así se mantiene competitivo en varios benchmarks.

• unas 200 veces menos tokens por fotograma que DINO-WM
• planificación hasta 48 veces más rápida: aproximadamente 0,98 segundos frente a 47 segundos por ciclo
• solo dos funciones de pérdida en lugar de siete en los enfoques PLDM basados en VICReg
• un hiperparámetro principal en lugar de un conjunto de ajustes manuales
• el espacio latente capta magnitudes físicas y señala eventos «imposibles», como la teletransportación de objetos

Los autores comprobaron además si el modelo entiende la lógica física de la escena y no solo adivina los siguientes fotogramas. En las pruebas de violation-of-expectation, el sistema reaccionó con más fuerza ante eventos físicamente inverosímiles, como la teletransportación repentina de un objeto, que ante cambios meramente visuales.

Otro efecto interesante es el temporal latent path straightening: a medida que avanzaba el entrenamiento, las trayectorias en el espacio latente se volvían más suaves y lineales, incluso sin una penalización específica que impusiera ese comportamiento. Esto importa porque unas trayectorias latentes más regulares suelen facilitar la búsqueda de acciones durante la planificación.

Qué significa

Para el mercado de agentes es una señal importante: los world models vuelven a ser una vía práctica, y no solo una idea académica. Si LeWM y enfoques similares confirman sus resultados fuera de los benchmarks de laboratorio, los desarrolladores podrían construir agentes más rápidos y baratos que planifiquen en un espacio de estados compacto sin pesados codificadores foundation. Es especialmente interesante para la robótica, el RL offline y los sistemas donde el coste del error y de la latencia es crítico.

En esencia, LeWM muestra que el colapso de representaciones se puede combatir no complicando la pila tecnológica, sino planteando con más cuidado el propio problema de aprendizaje.