Платонова гипотеза доказана для JEPA: текстовая модель на 109M обошла Qwen2.5-72B

Гипотеза платоновского представления (PRH) появилась как наблюдение: чем крупнее модели, тем больше внутренние представления зрительных и языковых моделей похожи друг на друга, словно все они приближаются к одной статистической модели реальности. Доказательства не было. Новая работа превращает гипотезу в теорему для класса архитектур JEPA (Joint-Embedding Predictive Architectures). Это модели, которые учатся предсказывать эмбеддинг одного «вида» объекта по эмбеддингу другого, а не восстанавливать пиксели или слова. Главная цифра работы: текстовая JEPA на 109 млн параметров по мере схожести с визуальной моделью DINOv2 набирает .184. Все проверенные языковые модели, вплоть до Qwen2.5-72B (.154), показывают меньше. Для сравнения, текстовый энкодер CLIP получает .124.

Что именно доказано

Авторы берут идеализированный мир: конечное число состояний, каждая модальность (картинки, текст, видео, аудио, действия) наблюдает его без потери информации. JEPA с «побелённым» (whitened) антиколлапсом, то есть с требованием, чтобы эмбеддинги не слипались в точку, выучивает спектральное представление графа своих положительных пар. Положительная пара — два входа, которые модель считает видами одного и того же.

Если у двух модальностей положительные пары связывают одни и те же состояния мира, задачи обучения совпадают и различаются лишь системой координат. Решения тогда совпадают с точностью до поворота. Это и есть теорема платоновского представления. Если пары различаются, рассогласование ограничено сверху мерой этого различия и размером спектрального зазора. Границу проверили на 300 случайных мирах: ошибка везде ниже оценки, максимум 18% от неё.

Оговорка: теорема работает в идеальной постановке. Случай JEPA с предиктором, как в моделях мира с условием на действие, она не покрывает. Единственность решения при полном распределительном ограничении (SIGReg в LeJEPA) остаётся допущением.

Хорошие и плохие «виды»

Главный практический вывод касается того, из чего строятся пары.

• Хорошие виды: два разных наблюдения одной сцены, например две подписи к одному фото или два кадра видео. Они делят только сцену, поэтому представление отражает мир. • Плохие виды: искажения одного наблюдения, например два кропа фото или две маскировки предложения. Они сохраняют и «шум» модальности: выбор слов, ракурс, освещение. Модель тратит на него часть размерности эмбеддинга, и никакой поворот не выровняет это с другой модальностью.

По этой логике предсказание следующего токена тоже оказывается JEPA с плохими видами: пара здесь — префикс и продолжение внутри одного документа. Это объясняет, почему языковые модели совпадают со зрением лишь частично и в основном за счёт масштаба. Сами DINOv2 и энкодеры авторов тоже относятся к плохим видам, ведь их пары — кропы одной фотографии.

Что показали эксперименты

Авторы обучали текстовые JEPA на подписях к картинкам, где хорошие виды получаются естественно, и сравнивали с языковыми моделями.

• Модель на 33M параметров, обученная на текстах 50 млн веб-картинок, набирает .125 на бенчмарке из статьи про PRH. На 145 тыс.

подписей Flickr у неё .034. Результат на уровне Qwen2.

5-3B и 7B. • На том же корпусе хорошие виды достигают с 21,6 млн примеров той схожести, которую предсказание токена даёт на 900 млн. Разница в 42 раза.

• Версия на 109M, обученная на текстах 940 млн картинок, прочитала 116 млрд токенов. Она обходит модели в 660 раз крупнее, обученные на данных более чем в 100 раз больше. С визуальным энкодером CLIP ViT-H у неё .

230 против .210 у лучшей LLM. • Рассогласование подчиняется закону масштабирования по доле хороших видов и числу просмотренных примеров.

Он предсказал 85 новых запусков до их обучения так же точно, как повтор с другим зерном случайности.

Есть и прикладные результаты. Одна линейная карта с ортонормированными строками, единственная часть, обученная на парах, соединяет замороженные DINOv2 и DINOv3 с языковой моделью, дообученной только на тексте. Такая связка даёт CIDEr .838 на COCO. Для карты нужно 0,22M параметров на DINOv2 ViT-B и 1,9M для лучшего капшенера. Без единой пары поворот ищут по геометрии несопоставленных картинок и подписей. Текстовая JEPA на 109M обходит все zero-shot результаты бенчмарка-предшественника на 21 паре моделей и пяти настройках. Она опережает Qwen3-8B на 17 пунктов точности zero-shot на ImageNet-100.

Ограничения и что взять инженерам

Границы есть. Образ-JEPA на хороших видах, обученная на 7 тыс. клипов MSR-VTT, пока заметно слабее DINOv2. Масштабирование хороших видов на изображения авторы оставляют на потом. Подписи описывают только часть фотографии, и теория учитывает это лишь через меру несовпадения пар.

Для практиков вывод такой: если нужен общий мультимодальный эмбеддинг, важнее не размер модели, а то, как собраны положительные пары. Буквальные описания видимого, вроде рекапшенов LLaVA, работают лучше альт-текстов. Крошечный текстовый энкодер с правильными парами может заменить огромную LLM там, где требуется только выравнивание с визуальным пространством.