JEPA на 109 млн параметров обошёл Qwen2.5-72B: выравнивание 0,184 против 0,154

Гипотеза платоновских представлений (PRH) утверждает, что по мере роста моделей их внутренние представления мира, построенные по тексту и по картинкам, становятся всё более похожими. До сих пор это было лишь наблюдением: для самообучающихся задач, которые используют на практике, строгого доказательства не существовало. Новая работа превращает PRH в теорему для семейства JEPA (Joint-Embedding Predictive Architectures, архитектур, где эмбеддинг одного вида данных предсказывает эмбеддинг другого). Практический результат такой: текстовый JEPA на 109 млн параметров набрал 0,184 по метрике выравнивания с vision-моделями на бенчмарке из работы о PRH. Это выше любой проверенной языковой модели, включая Qwen2.5-72B с результатом 0,154, и выше текстового энкодера CLIP (0,124). Лидерство подтвердилось на двух бенчмарках и двух метриках.

Теорема о том, когда модальности совпадают

Идея доказательства короткая. JEPA с «отбеленным» (whitened) антиколлапс-термином второго порядка учит спектральное вложение графа, который задают его позитивные пары, то есть пары входов, объявленные видами друг друга. Если разные модальности (текст, изображения, видео, аудио, действия) описывают один и тот же мир, а их позитивные пары связывают одни и те же состояния мира, то обучающие задачи совпадают с точностью до замены координат. Решения тоже совпадают с точностью до одного поворота. Это и есть Platonic Representation Theorem, причём модальностей может быть сколько угодно.

Если позитивы у модальностей разные, рассогласование ограничено расхождением их графов позитивов и величиной спектрального зазора. Границу авторы проверили на 300 случайно сгенерированных конечных мирах: во всех ошибка оказалась ниже границы, не выше 18% от неё.

Отсюда практический вывод: важны не только размер модели и данных, но и то, что считать позитивной парой. «Хороший вид» — это два наблюдения одной сцены, например два описания одной фотографии. «Плохой вид» — две порчи одного наблюдения: два кропа фото или две маскировки одного предложения. Во втором случае энкодер тратит часть размерностей на особенности своей модальности, и никакой поворот не совместит их с другой модальностью.

По этой логике предсказание следующего токена — JEPA с плохим видом: позитивом служат префикс и продолжение одного документа. Авторы считают, что поэтому языковые модели сближаются с vision лишь частично и в основном за счёт масштаба.

Что показали эксперименты

Проверка шла при одинаковых текстах и энкодерах. Хорошие виды дали лучшее выравнивание почти во всех сравнениях: от 145 тыс. подписей Flickr до текстов 940 млн веб-картинок, с энкодерами изображений как обученными с нуля, так и замороженными, а также на видео. Выравнивание подчиняется закону масштабирования по доле хороших видов и числу увиденных примеров. Он предсказал 85 новых прогонов до их запуска так же точно, как повторный запуск с другим seed.

Ключевые цифры по бенчмарку из работы о PRH:

• текстовый JEPA на 33 млн параметров, обученный на текстах 50 млн веб-картинок, получил 0,125 против 0,034 на подписях Flickr, на уровне Qwen2.5-3B и Qwen2.5-7B;
• на том же корпусе JEPA с хорошими видами достиг на 21,6 млн обучающих примеров того, что предсказание следующего токена достигает на 900 млн, то есть в 42 раза эффективнее;
• JEPA на 109 млн параметров прочёл 116 млрд токенов и обошёл модели в 660 раз больше, обученные на данных в 100 с лишним раз большего объёма;
• в паре с энкодером изображений CLIP ViT-H он набрал 0,230 против 0,210 у лучших языковых моделей; лидерство сохраняется и с энкодерами MAE и I-JEPA.

Подписи без пар и границы теории

Выравнивание работает и как инструмент. Одна линейная карта с ортонормальными строками, единственная часть, обученная на парах, соединяет замороженные DINOv2 и DINOv3 с языковой моделью, дообученной только на тексте. Результат: CIDEr (метрика качества описаний изображений) 0,838 на COCO. Для DINOv2 ViT-B такая карта содержит 0,22 млн параметров, для сильнейшего капшенера с 5120-мерными признаками — 1,9 млн.

Без единой пары поворот можно найти по геометрии неспаренных картинок и подписей. На бенчмарке такого выравнивания, где результат оценивают по zero-shot-классификации, текстовый JEPA на 109 млн параметров превзошёл все опубликованные точности на 21 паре vision- и языковых моделей в пяти настройках. Сильнейшую языковую модель Qwen3-8B, перезапущенную в тех же условиях, он обошёл на 17 пунктов zero-shot-точности на ImageNet-100.

Границы теории авторы называют сами. Теорема доказана для идеализированной модели: конечный мир, инъективный рендеринг, популяционные оптимумы, тождественный предсказатель. Единственность решения при ограничении на всё распределение, как в SIGReg из LeJEPA, взята как допущение. JEPA-модели мира с предсказателем, обусловленным действием, и случай линейной карты между разными размерностями эмбеддингов теория не покрывает.

Для практиков главный вывод в том, что при сборе данных для мультимодальных систем стоит думать о парах «несколько независимых наблюдений одной сцены», а не только о размере корпуса.