Des chercheurs décrivent comment JEPA sélectionne ses caractéristiques : ce sont les liens qui comptent, pas les cavaliers seuls

Les chercheurs Mosh Levy, Aly Lidayan et Yoav Goldberg ont publié un travail qui change l'explication de ce qui entre exactement dans la représentation de JEPA (joint-embedding predictive architecture). On considérait jusqu'ici que l'architecture conservait les caractéristiques bien prévisibles par elles-mêmes. Les auteurs jugent ce tableau incomplet. Selon eux, la sélection s'opère au niveau d'ensembles de caractéristiques qui se prédisent mutuellement. Ils ont baptisé cette propriété predictive closure, ou « clôture prédictive ». L'article 2610.27364 est paru le 19 octobre 2026, Mosh Levy l'a présenté sur Hugging Face Daily Papers, et le code se trouve dans le dépôt Mosh0110/predictive-closure.

Pourquoi le feu tricolore ne devrait pas disparaître

Dans JEPA, l'encodeur et le prédicteur sont entraînés conjointement. L'objectif est de minimiser l'erreur de prédiction de la représentation de l'observation suivante. Un détail n'a rien d'évident : les représentations de l'observation courante comme de la suivante sont apprises, et non fixées à l'avance. On ne sait donc pas d'emblée quelles caractéristiques vont y figurer.

Les travaux antérieurs décrivaient la sélection par la prévisibilité individuelle de chaque caractéristique. D'où une crainte : l'encodeur écarterait simplement toute caractéristique imprévisible en soi. Les auteurs prennent l'exemple du feu tricolore. Il est difficile de déterminer quand il va changer. Mais sa couleur aide beaucoup à prédire si le flux de voitures va s'arrêter. L'erreur de prédiction dépend non seulement des caractéristiques elles-mêmes, mais aussi des liens entre elles, et les descriptions antérieures ne tenaient pas compte de ces liens.

Une sélection au niveau des ensembles

Les auteurs ont reformulé l'objectif d'entraînement de JEPA et montré que le résultat dépend des propriétés d'ensembles de caractéristiques, et non d'éléments isolés. Si les caractéristiques évoluent indépendamment les unes des autres, la nouvelle caractérisation coïncide avec les précédentes. Les écarts apparaissent quand les caractéristiques sont liées. Une caractéristique imprévisible comme le feu tricolore peut alors rester dans la représentation, car elle sert à prédire d'autres caractéristiques.

La théorie a été testée dans des expériences contrôlées. Voici les résultats :

• les caractéristiques imprévisibles sont mieux représentées lorsqu'elles aident à prédire d'autres caractéristiques ;
• modifier les liens prédictifs d'une caractéristique influe sur la qualité de représentation des autres ;
• un objectif auxiliaire (auxiliary objective) ciblant une caractéristique renforce la représentation d'une autre caractéristique, dont la première aide à prédire les valeurs futures ;
• fournir une caractéristique au prédicteur comme side information produit le même effet indirect.

Piloter la représentation de façon indirecte

La conclusion la plus intéressante en pratique concerne la contrôlabilité. Pour que le modèle encode mieux une caractéristique donnée, il n'est pas obligatoire d'agir directement sur elle. On peut renforcer une caractéristique qui lui est liée : lui ajouter un objectif auxiliaire ou la transmettre au prédicteur comme information supplémentaire. La représentation de la caractéristique visée s'améliore si la caractéristique renforcée aide à prédire son évolution future. L'effet joue aussi en sens inverse : si l'on affaiblit les liens d'une caractéristique, d'autres caractéristiques qui s'appuyaient sur elle peuvent en pâtir.

La principale limite du travail est son échelle. Les expériences sont contrôlées, c'est-à-dire menées sur des constructions artificielles où les liens entre caractéristiques sont connus. L'article ne vérifie pas comment la predictive closure se manifeste dans de grands modèles, sur des vidéos réelles, des données robotiques ou dans des modèles du monde. Le cadre n'en est pas moins utile : il fournit un langage pour discuter d'une question à laquelle on répondait jusque-là par l'intuition.

Que vérifier en pratique

Les équipes qui entraînent des modèles de type JEPA pour la vidéo, la robotique et la planification obtiennent un ensemble concret d'hypothèses. Premièrement, pour diagnostiquer des caractéristiques perdues, il faut examiner leur rôle dans la prédiction d'autres caractéristiques, et pas seulement leur prévisibilité propre. Deuxièmement, si une caractéristique importante est mal encodée, on peut essayer de renforcer une caractéristique liée par un objectif auxiliaire ou une side information. Troisièmement, quand on modifie la composition des données d'entrée ou les conditions de prédiction, il faut vérifier que d'autres caractéristiques, qui reposaient sur les liens supprimés, n'en souffrent pas.

Pour l'industrie, c'est un pas des heuristiques vers une théorie de la sélection des caractéristiques dans l'une des architectures d'apprentissage auto-supervisé les plus discutées. Le dépôt contenant les expériences est ouvert : les résultats peuvent donc être reproduits et transposés à ses propres tâches.