Pesquisadores descrevem como o JEPA seleciona características: o que importa são as conexões, e não as características isoladas

Os pesquisadores Mosh Levy, Aly Lidayan e Yoav Goldberg publicaram um trabalho que muda a explicação sobre o que exatamente entra na representação do JEPA (joint-embedding predictive architecture). Até então, acreditava-se que a arquitetura preservava características que se preveem bem por si mesmas. Os autores afirmam que esse quadro é incompleto. A seleção ocorre no nível de conjuntos de características que se preveem mutuamente. Eles batizaram essa propriedade de predictive closure, ou "fechamento preditivo". O artigo 2610.27364 foi publicado em 19 de outubro de 2026, Mosh Levy o apresentou no Hugging Face Daily Papers, e o código está no repositório Mosh0110/predictive-closure.

Por que o semáforo não deve desaparecer

No JEPA, o codificador e o preditor são treinados em conjunto. A tarefa é minimizar o erro de previsão da representação da observação seguinte. Há um detalhe pouco óbvio: as representações da observação atual e da seguinte são aprendidas, não definidas de antemão. Por isso, não se sabe antecipadamente quais características vão aparecer nelas.

Trabalhos anteriores descreviam a seleção pela previsibilidade individual de cada característica. Daí surgia o receio de que uma característica imprevisível por si só fosse simplesmente descartada pelo codificador. Os autores usam o exemplo do semáforo. É difícil determinar quando ele vai mudar. Mas sua cor ajuda muito a prever se o fluxo de carros vai parar. O erro de previsão depende não só das características em si, mas também das conexões entre elas, e as descrições anteriores não levavam essas conexões em conta.

Seleção no nível de conjuntos

Os autores reformularam o objetivo de treinamento do JEPA e mostraram que o resultado é determinado por propriedades de conjuntos de características, e não de elementos individuais. Se as características evoluem de forma independente umas das outras, a nova caracterização coincide com as anteriores. As divergências aparecem quando as características estão conectadas. Nesse caso, uma característica imprevisível, como o semáforo, pode permanecer na representação porque é necessária para prever outras características.

A teoria foi testada em experimentos controlados. Os resultados são estes:

• características imprevisíveis ficam mais bem representadas quando ajudam a prever outras características;
• alterar as conexões preditivas de uma característica afeta o quão bem as demais são representadas;
• um objetivo auxiliar (auxiliary objective) voltado a uma característica reforça a representação de outra característica, cujos valores futuros a primeira ajuda a prever;
• fornecer uma característica ao preditor como side information produz o mesmo efeito indireto.

Controle indireto da representação

Na prática, a conclusão mais interessante diz respeito à capacidade de controle. Se o objetivo é que o modelo codifique melhor determinada característica, não é obrigatório atuar diretamente sobre ela. É possível reforçar uma característica conectada a ela: adicionando um objetivo auxiliar para essa característica ou passando-a ao preditor como informação adicional. A representação da característica-alvo melhora se a característica reforçada ajuda a prever seus valores futuros. O efeito vale também no sentido inverso: se as conexões de uma característica forem enfraquecidas, outras características que dependiam dela podem ser prejudicadas.

A principal limitação do trabalho é a escala. Os experimentos são controlados, ou seja, feitos em construções artificiais nas quais as conexões entre as características são conhecidas. O artigo não verifica como a predictive closure se manifesta em modelos grandes, com vídeos reais, dados de robótica ou em modelos de mundo. Ainda assim, o arcabouço é útil, porque oferece uma linguagem para discutir uma questão que antes era respondida com intuição.

O que verificar na prática

Equipes que treinam modelos do tipo JEPA para vídeo, robótica e planejamento ganham um conjunto concreto de hipóteses. Primeiro, ao diagnosticar características perdidas, vale observar o papel delas na previsão de outras características, e não apenas a previsibilidade própria. Segundo, se uma característica importante é mal codificada, dá para tentar reforçar uma característica conectada a ela com um objetivo auxiliar ou side information. Terceiro, ao mudar a composição dos dados de entrada ou as condições de previsão, é preciso verificar se outras características, que se sustentavam nas conexões removidas, foram prejudicadas.

Para a indústria, é um passo das heurísticas para uma teoria de seleção de características em uma das arquiteturas de aprendizado auto-supervisionado mais debatidas. O repositório com os experimentos é aberto, então os resultados podem ser reproduzidos e levados para tarefas próprias.