Лекун на ECCV 2026 призвал уйти от генерации пикселей к world models

Европейская конференция по компьютерному зрению ECCV проходит раз в два года, и в сентябре 2026-го она собралась в шведском Мальмё. Руководитель группы Яндекса по CV-симуляции сенсоров Виктор Юрченко привёз оттуда конспект. Мы вытащили из него то, что пригодится тем, кто строит продукты на генерации, мультимодальности и автономном транспорте.

Цифры и главный спор: пиксели против представлений

На конференцию подали 10 473 работы, приняли 2 834, а устный доклад получили всего 163 (1,6%). Самая большая тема с заметным отрывом — генерация изображений и видео, дальше идут vision-language с ризонингом и 3D. Хайп вокруг генеративок пока никуда не делся.

Кейноут Яна Лекуна сыграл роль идеологического противовеса. Он напомнил, что ИИ уже хорошо пишет код и решает математику, но плохо действует в физическом мире: сырое видео, аудио и сигналы датчиков остаются тяжёлыми данными, а агентам нужно слишком много демонстраций. Его рецепт такой:

• Не предсказывать следующий кадр. Будущее на уровне пикселей неоднозначно, и для выбора действий такая детализация обычно не нужна.
• Предсказывать в пространстве представлений. Так устроена JEPA: энкодер кодирует цель, предиктор по контексту предсказывает её представление, а ошибка считается между представлениями. Непредсказуемые детали при этом отбрасываются.
• Планировать через model-predictive control. Модель мира проигрывает последствия действий, система ищет последовательность, ведущую к цели. RL остаётся в роли критика или способа подправить модель.
• Строить иерархию. Верхние уровни работают с абстрактными изменениями на длинных горизонтах и задают подцели нижним.

Итог Лекуна жёсткий: исследователям, которые целятся в ИИ человеческого уровня, стоит сместить фокус с LLM и генеративных архитектур на обучение представлений и модели мира. Это позиция одного из участников спора, а не доказанный факт. Но для тех, кто выбирает направление R&D, сигнал важный.

Что из статей можно забрать в работу

Яндекс привёз три работы, и каждая пригодится на практике.

Первая показывает, что авторегрессионные модели годятся для классификации картинок. Метод на базе RandAR усредняет оценки по случайным порядкам визуальных токенов. На ImageNet-Val RandAR-XL даёт 81,3% top-1 против 77,2% у DiT-XL и 82,7% у DINOv2-XL. Ускорение до 25 раз измерено относительно DiT-классификатора на одной A100. На сдвиге распределения, например на ImageNet-A, RandAR уступил DINOv2.

Вторая, DuET, пригодится всем, кто делает редактирование изображений. Если unified-модель умеет и генерацию, и правку, то посреди инференса можно на время отключить привязку к исходной картинке, а потом вернуть. На FLUX2-Klein 4B с переключением на шагах [25, 35) из 50 оценка качества на GEdit растёт с 7,46 до 8,01. Цена в том, что SSIM на GIE-Bench падает с 0,815 до 0,749, то есть детали исходника заметнее меняются. Вариант Selective DuET удерживает сохранность в пределах порога VLM-оценщика, но это не человеческая оценка и не гарантия для любых правок.

Третья — честный бенчмарк восьми training-free методов на базе Classifier-Free Guidance на Stable Diffusion 3.5 Medium и FLUX.2 4B Base. Авторы жалуются, что в потоке статей новые методы часто сравнивают на слабых бенчмарках и устаревших моделях. Если вы подбираете guidance для продакшена, это хороший справочник.

Автономный транспорт: симулятор — узкое место

На воркшопе по надёжной автономности звучали одни и те же тезисы. ML-планировщики движутся к end-to-end, индустрия уже использует RL post-training в симуляции, а исследователи пробуют обучать с нуля и применяют self-play. Для этого нужен быстрый симулятор с качественной имитацией сенсоров, и это всё ещё нерешённая задача: даже у NVIDIA sim-to-real gap остаётся частой проблемой. Одних логов для надёжного планировщика мало, нужна world model, которая генерирует сложные сценарии.

Академия упирается в проверку на реальных машинах. Авторы PRIX, добившиеся SOTA на нескольких бенчмарках, сами написали на последнем слайде, что не знают, как модель поведёт себя на живом автомобиле с ограниченными вычислениями.

Проблему редких ситуаций, вроде сложных дорожных работ или упавшего посреди дороги объекта, решает Motional. Они открыли датасет из 20 тысяч 20-секундных сцен (111 часов): камеры, лидары, HD-карты, разметка и reasoning labels. Сложные сцены отбирала Gemini 3.1 Pro по 10-балльной шкале, потом их проверяли люди. Ризонинг бывает трёх видов: пространственный, о принятом решении и контрафактный («что было бы, если бы ускорились вместо торможения»). Файнтюн VLM на таких вопросах и ответах улучшил результат.

Что с этим делать

• Если делаете редактирование картинок, проверьте идею DuET: она не требует обучения, но следите за сохранностью деталей.
• Если строите планировщики для автономных систем, вкладывайтесь в симуляцию сенсоров и сбор long-tail сцен, а не только в архитектуру.
• Если выбираете research-ставку, учтите спор «LLM против world models»: пока это позиция Лекуна, а не консенсус.

Учтите и ограничение источника: это личный отчёт участника из Яндекса, а не независимый обзор, и в тексте много пересказа без собственных проверок.