Исследователи описали, как JEPA выбирает признаки: важны связи, а не одиночки

Исследователи Mosh Levy, Aly Lidayan и Yoav Goldberg опубликовали работу, которая меняет объяснение того, что именно попадает в представление JEPA (joint-embedding predictive architecture). Раньше считалось, что архитектура сохраняет признаки, которые хорошо предсказываются сами по себе. Авторы утверждают, что это неполная картина. Отбор идёт на уровне наборов признаков, которые предсказывают друг друга. Это свойство они назвали predictive closure, «предсказательное замыкание». Статья 2610.27364 вышла 19 октября 2026 года, на Hugging Face Daily Papers её представил Mosh Levy, а код лежит в репозитории Mosh0110/predictive-closure.

Почему светофор не должен пропасть

В JEPA энкодер и предиктор обучаются вместе. Задача — минимизировать ошибку предсказания представления следующего наблюдения. Здесь есть неочевидная деталь: представления и текущего, и следующего наблюдения выучиваются, а не заданы заранее. Поэтому заранее неясно, какие признаки в них окажутся.

Предшествующие работы описывали отбор через индивидуальную предсказуемость каждого признака. Отсюда следовало опасение: признак, который сам по себе непредсказуем, энкодер просто отбросит. Авторы берут пример светофора. Когда он переключится, определить трудно. Но его цвет сильно помогает предсказать, остановится ли поток машин. Ошибка предсказания зависит не только от самих признаков, но и от связей между ними, и старые описания эти связи не учитывали.

Отбор на уровне наборов

Авторы переформулировали обучающую цель JEPA и показали, что результат определяют свойства множеств признаков, а не отдельных элементов. Если признаки эволюционируют независимо друг от друга, новая характеристика совпадает с прежними. Расхождения появляются, когда признаки связаны. Тогда непредсказуемый признак вроде светофора может остаться в представлении, потому что он нужен для предсказания других признаков.

Теорию проверили в контролируемых экспериментах. Результаты такие:

• непредсказуемые признаки представлены лучше, когда помогают предсказывать другие признаки;
• изменение предсказательных связей одного признака влияет на то, насколько хорошо представлены остальные;
• вспомогательная цель (auxiliary objective), нацеленная на один признак, усиливает представление другого признака, будущие значения которого первый помогает предсказать;
• подача признака предиктору как side information даёт тот же косвенный эффект.

Косвенное управление представлением

Практически самый интересный вывод касается управляемости. Если нужно, чтобы модель лучше кодировала определённый признак, не обязательно воздействовать на него напрямую. Можно усилить связанный с ним признак: добавить для него вспомогательную цель или передать его предиктору как дополнительную информацию. Представление целевого признака улучшится, если усиленный признак помогает предсказывать его будущее. Работает это и в обратную сторону: если связи у признака ослабить, пострадать могут другие признаки, которые на него опирались.

Главное ограничение работы — масштаб. Эксперименты контролируемые, то есть поставлены на искусственных конструкциях, где связи между признаками известны. Как predictive closure проявляется в больших моделях на реальных видео, роботизированных данных или в мировых моделях, статья не проверяет. Но сама рамка полезна, потому что даёт язык для обсуждения вопроса, на который раньше отвечали интуицией.

Что проверить на практике

Команды, которые обучают JEPA-подобные модели для видео, робототехники и планирования, получают конкретный набор гипотез. Во-первых, при диагностике потерянных признаков стоит смотреть на их роль в предсказании других признаков, а не только на собственную предсказуемость. Во-вторых, если важный признак плохо кодируется, можно попробовать усилить связанный с ним признак вспомогательной целью или side information. В-третьих, при изменении состава входных данных или условий предсказания нужно проверять, не пострадали ли другие признаки, которые держались на удалённых связях.

Для индустрии это шаг от эвристик к теории отбора признаков в одной из самых обсуждаемых архитектур самообучения. Репозиторий с экспериментами открыт, так что результаты можно воспроизвести и перенести на собственные задачи.