Модель на 109M параметров обошла Llama-3 70B по выравниванию смыслов: что доказал ЛеКун

Знакомая история: мы месяцами растим LLM, платим за дата-центры, а модель всё равно плохо понимает, что общего у фразы «щенок играет у моря» и фотографии пляжа. Новая работа Рэнделла Балестриеро и Яна ЛеКуна предлагает неудобный ответ: проблема не в масштабе, а в том, как мы формируем обучающие пары.

Что именно доказали

В 2024 году исследователи из MIT выдвинули Platonic Representation Hypothesis: по мере роста моделей их внутренние представления разных модальностей (текст, зрение, звук) сближаются. Это было эмпирическое наблюдение. Балестриеро и ЛеКун превратили его в теорему: если разные модальности учатся методом JEPA на одних и тех же позитивных парах, их пространства совпадают с точностью до ортогонального вращения.

JEPA (Joint-Embedding Predictive Architecture) предсказывает не пиксели и не токены, а векторные представления. Непредсказуемый шум, вроде лиц в зале или точного расположения стульев, отбрасывается на уровне энкодера, а не заставляет сеть гадать.

Хорошие и плохие виды

Ключевая идея: что считать парой. «Хороший вид» — два независимых наблюдения одной сцены: две разные подписи к одному фото или два кадра из одного ролика. Шум у них разный, поэтому модель вынуждена кодировать общее, то есть состояние мира.

«Плохой вид» — два искажения одного наблюдения: две маски одного предложения, два кропа одной картинки. Сюда же авторы относят предсказание следующего токена: контекст и продолжение лежат в одном документе и делят авторский стиль и лексику. Часть ёмкости вектора уходит на этот шум и пропадает для выравнивания с другими модальностями.

Цифры

Текстовый энкодер Good-View Text JEPA на базе BERT-B (109M параметров) обучали на описаниях 940 млн веб-изображений. На бенчмарке WIT-1024 в паре с замороженным DINOv2 он показал Mutual 10-NN 0.184 против 0.154 у Qwen2.5-72B и 0.151 у Llama-3-70B. По числу образцов он эффективнее модели с предсказанием следующего токена в 42 раза, по токенам в 14 раз.

Ещё два результата для практиков. Первый: генератор подписей без парных данных. Декодер Qwen2.5-1.5B учили восстанавливать текст из зашумлённого эмбеддинга, а к визуальному энкодеру DINOv2 его подключили одной матрицей вращения (задача Прокруста). Итог: CIDEr 0.838 на COCO. Второй: выравнивание вообще без пар через оптимальный транспорт, 64.4% top-5 на ImageNet-100 против максимума 56% в предыдущей работе.

Авторы также вывели закон масштабирования для качества выравнивания, который предсказал 85 новых запусков с ошибкой на уровне шума инициализации.

Что учесть и где подвох

Сравнение идёт по метрике выравнивания с визуальным пространством, а не по общему интеллекту. Llama-3 70B никто не отменяет: рассуждать, писать код и вести диалог она продолжит лучше. Бенчмарки в основном про мультимодальную согласованность, и перенос на робототехнику пока остаётся заявкой, в том числе в связке со стартапом AMI Labs. Кроме того, это адаптация работы, и заявления о «тупиковом пути» LLM стоит читать как позицию ЛеКуна, а не как закрытый вопрос.

Практический вывод. Если строите мультимодальный поиск, RAG по картинкам или рекомендации, подумайте над составом пар. Несколько независимых описаний одного объекта могут дать больше, чем ещё один миллиард токенов. Технически ценны случайная обрезка фрагментов (без неё качество падает примерно на 25%), градиентный клиппинг при SIGReg-регуляризации и возможность стыковать готовые энкодеры линейным поворотом вместо дорогого совместного обучения. Для небольших команд это шанс получить сильные эмбеддинги на скромном железе.