Маленькая JEPA-модель сравнялась с next-token на 21,6M примеров вместо 900M

Предобучение языковых моделей упирается в одно: сколько примеров нужно прогнать через модель. Стандартный рецепт — заставить её угадывать следующий токен (по сути, следующее слово) — требует сотен миллионов текстов. Рандалл Балестриеро и Ян ЛеКун показали, что можно иначе. Их текстовая модель на 109M параметров, обученная по схеме JEPA на «хороших ракурсах», сравнялась с угадыванием следующего токена по качеству согласования с картинками: 10,9% против 11,1%. При этом она увидела 21,6M примеров вместо 900M, то есть в 42 раза меньше. Представьте, что вы учите поиск по каталогу товаров: вместо того чтобы скармливать модели гигабайты случайных описаний, вы даёте ей пары «фото товара — его текст». Именно про такие пары работа и рассказывает.

Что такое «хороший» и «плохой» ракурс

JEPA — это семейство self-supervised моделей. Их учат так, чтобы представления (эмбеддинги) двух «позитивных» примеров оказывались рядом, но при этом не схлопывались в одну точку. Всё решает то, откуда берутся позитивные пары.

Возьмём фотографию кошки на диване. «Плохой ракурс» — та же фотография, но обрезанная, размытая или с изменённой яркостью. Это искажения одного и того же наблюдения: модель легко учится их игнорировать, но о мире узнаёт мало. «Хороший ракурс» — другое наблюдение той же сцены: снимок с другого угла или текстовое описание этой же картинки. Чтобы связать такие примеры, модели приходится выделять то, что действительно стоит за сценой.

Авторы доказывают теорему о «платоновских репрезентациях» для JEPA. Платоновская гипотеза утверждает, что разные модели на разных данных приходят к похожему внутреннему представлению мира. Теорема объясняет, при каких условиях это происходит для JEPA. Заодно показано, что предсказание следующего токена математически устроено как JEPA с плохими ракурсами: контекст и продолжение — два куска одного и того же текста.

Что получилось в цифрах

Качество сравнивали на кросс-модальном бенчмарке WIT-1024 в паре с картиночным энкодером DINOv2 ViT-B. Метрика — mutual 10-NN: для одних и тех же объектов смотрим, сколько из десяти ближайших соседей совпадают в текстовом и картиночном пространствах. Чем выше доля, тем лучше согласованы две модальности.

• Текстовая JEPA на 109M параметров с хорошими ракурсами набрала 10,9% на 21,6M примеров. Предсказание следующего токена на том же корпусе дало 11,1%, но потребовало 900M примеров.
• Когда модель обучили на текстах к 940M веб-картинок, она вышла на 18,4%. Qwen2.5-72B показал 15,4%, Llama-3-70B — 15,1%, текстовый энкодер CLIP — 12,4%.

Есть и побочные результаты. Два отдельных одномодальных энкодера, текстовый и картиночный, можно соединить одной ортонормированной проекцией. Такая связка пишет описания к картинкам с CIDEr 0,838 на COCO. Можно выровнять модальности вообще без парных данных: top-5 точность на ImageNet-100 составила 64,4% против 47,6% у Qwen3-8B. Код, доказательство и демо опубликованы.

Что стоит учитывать и что делать

Во-первых, метрика измеряет согласованность текста с картинками, а не общее качество языковой модели. Читать результат как «модель на 109M умнее Llama-3-70B» нельзя: способность писать код или рассуждать он не проверяет.

Во-вторых, главное ограничение: выигрыш на веб-текстах опирается на ракурсы, сгруппированные по ID картинки и сгенерированные предобученной моделью описания изображений. Часть работы уже сделала другая модель, и её стоимость в сравнении «в 42 раза меньше примеров» не отражена. Для задач, где нет естественной «сцены» с несколькими наблюдениями, рецепт напрямую не переносится. Это препринт, независимых воспроизведений пока нет.

Практический вывод — для тех, кто строит мультимодальный поиск, рекомендации или обучает энкодеры под свою область. Вместо наращивания корпуса стоит подумать, как собрать пары из разных описаний одного объекта: фото товара и его текст, скриншот интерфейса и описание сценария, фрагмент документации и вопрос по нему. Если такие группы у вас уже есть, небольшая модель может дать качество, за которым обычно идут к моделям на порядок крупнее.

Для остальных это сигнал, что спор «масштаб против структуры данных» не закрыт. Если результат подтвердится на других бенчмарках и модальностях, предсказание следующего токена перестанет быть единственным разумным рецептом предобучения.