Investigadores describen cómo JEPA selecciona características: importan las relaciones, no las características aisladas

Los investigadores Mosh Levy, Aly Lidayan y Yoav Goldberg han publicado un trabajo que cambia la explicación de qué termina exactamente en la representación de JEPA (joint-embedding predictive architecture). Hasta ahora se creía que la arquitectura conservaba las características que se predicen bien por sí solas. Los autores sostienen que esa imagen es incompleta. La selección ocurre a nivel de conjuntos de características que se predicen entre sí. A esta propiedad la llamaron predictive closure, «cierre predictivo». El artículo 2610.27364 salió el 19 de octubre de 2026, Mosh Levy lo presentó en Hugging Face Daily Papers y el código está en el repositorio Mosh0110/predictive-closure.

Por qué el semáforo no debería desaparecer

En JEPA, el codificador y el predictor se entrenan juntos. El objetivo es minimizar el error al predecir la representación de la siguiente observación. Hay un detalle poco evidente: las representaciones tanto de la observación actual como de la siguiente se aprenden, no vienen dadas de antemano. Por eso no está claro a priori qué características acabarán en ellas.

Los trabajos anteriores describían la selección a través de la predictibilidad individual de cada característica. De ahí surgía un temor: si una característica es impredecible por sí misma, el codificador simplemente la descartará. Los autores recurren al ejemplo del semáforo. Es difícil determinar cuándo va a cambiar. Pero su color ayuda mucho a predecir si se detendrá el flujo de coches. El error de predicción depende no solo de las características en sí, sino también de las relaciones entre ellas, y las descripciones anteriores no las tenían en cuenta.

Selección a nivel de conjuntos

Los autores reformularon el objetivo de entrenamiento de JEPA y demostraron que el resultado depende de las propiedades de los conjuntos de características, no de elementos individuales. Si las características evolucionan de forma independiente entre sí, la nueva caracterización coincide con las anteriores. Las diferencias aparecen cuando las características están relacionadas. Entonces, una característica impredecible como el semáforo puede permanecer en la representación porque es necesaria para predecir otras.

La teoría se puso a prueba en experimentos controlados. Estos son los resultados:

• las características impredecibles se representan mejor cuando ayudan a predecir otras características;
• cambiar las relaciones predictivas de una característica afecta a lo bien que se representan las demás;
• un objetivo auxiliar (auxiliary objective) dirigido a una característica refuerza la representación de otra cuyos valores futuros la primera ayuda a predecir;
• suministrar una característica al predictor como side information produce el mismo efecto indirecto.

Control indirecto de la representación

En la práctica, la conclusión más interesante tiene que ver con la controlabilidad. Si se quiere que el modelo codifique mejor una determinada característica, no es necesario actuar directamente sobre ella. Se puede reforzar una característica relacionada: añadirle un objetivo auxiliar o pasarla al predictor como información adicional. La representación de la característica objetivo mejorará si la característica reforzada ayuda a predecir su futuro. También funciona a la inversa: si se debilitan las relaciones de una característica, pueden resentirse otras que dependían de ella.

La principal limitación del trabajo es la escala. Los experimentos son controlados, es decir, se realizaron sobre construcciones artificiales en las que se conocen las relaciones entre características. El artículo no comprueba cómo se manifiesta la predictive closure en modelos grandes con vídeo real, datos de robótica o modelos del mundo. Aun así, el marco es útil, porque ofrece un lenguaje para discutir una cuestión que antes se respondía con intuición.

Qué comprobar en la práctica

Los equipos que entrenan modelos de tipo JEPA para vídeo, robótica y planificación obtienen un conjunto concreto de hipótesis. En primer lugar, al diagnosticar características perdidas conviene fijarse en su papel en la predicción de otras características, y no solo en su propia predictibilidad. En segundo lugar, si una característica importante se codifica mal, se puede intentar reforzar una característica relacionada con un objetivo auxiliar o con side information. En tercer lugar, al cambiar la composición de los datos de entrada o las condiciones de predicción, hay que comprobar si se han visto afectadas otras características que se sostenían sobre las relaciones eliminadas.

Para la industria, es un paso de las heurísticas hacia una teoría de la selección de características en una de las arquitecturas de aprendizaje autosupervisado más comentadas. El repositorio con los experimentos es abierto, de modo que los resultados pueden reproducirse y trasladarse a tareas propias.