Создатели Stable Diffusion учат FLUX 3 на картинках, видео и звуке сразу
Black Forest Labs, команда авторов Stable Diffusion, учит модель FLUX 3 сразу на картинках, видео и звуке. Кадр показывает, где мяч, видео — как он туда долетел, а звук удара выдаёт момент контакта, даже если камера его не поймала. Апскейлер видео строят на той же основе, чтобы детали не мерцали. Поэтому качество стоит проверять в движении, а не по одному кадру.
AI-обработка оригинала Latent Space (swyx); редакция Hamidun News
Black Forest Labs (BFL) — лаборатория, которую основали выходцы из Stability AI, авторы Stable Diffusion. Сейчас она делает FLUX 3, и главная новость в том, как эту модель учат: сразу на картинках, видео и звуке, а не на одних изображениях. Проблема знакомая каждому, кто пробовал генерировать ролики. Отдельный кадр может выглядеть отлично, но стоит повернуть камеру вокруг человека или добавить звук, и видно, что модель плохо представляет, как устроена сцена. В подкасте Latent Space об этом рассказывают Андреас Блатман, соавтор метода латентной диффузии, и Дастин Подел, ведущий автор SDXL и руководитель проекта FLUX Kontext.
Мяч, который летит в вашу сторону
Блатман объясняет «визуальный интеллект» на примере, который можно проверить одной рукой. Если вам бросают мяч, рука начинает двигаться ещё до того, как он долетел. Траекторию вы при этом не вычисляете и записать её не смогли бы. Именно такое знание о мире лаборатория хочет получить от модели.
У каждого типа данных своя роль. Статичная картинка показывает, где мяч находится сейчас. Видео показывает, как он туда попал. Звук удара подсказывает, когда мяч во что-то врезался, даже если камера момент контакта не поймала. Поэтому BFL обучает FLUX 3 на трёх сигналах вместе, а не склеивает отдельные модели.
Есть и более наглядная проверка. Представьте, что камера стоит перед человеком и плавно облетает его. В какой-то момент модель обязана показать затылок. По мнению Блатмана, обычное двумерное видео содержит много подсказок о том, как предметы выглядят с других сторон. Доказывает ли это, что модель «понимает физику», ведущий и гость в эпизоде спорят. Но такой тест честнее вопроса, выглядит ли один кадр убедительно.
Почему апскейл ломается из-за мерцания
Самый практичный пример из конца разговора — увеличение разрешения видео. Если улучшать каждый кадр отдельно, каждый по отдельности может выглядеть великолепно. Но при воспроизведении добавленные детали начинают мерцать: апскейлер, то есть увеличитель разрешения, каждый раз принимал чуть другое решение, и между соседними кадрами получилась рябь.
BFL строит свой видеоапскейлер на той же основе, что и FLUX 3. Согласованность во времени нужна, даже когда пользователь просил только файл побольше. Для разработчиков вывод простой: покадровая обработка видео почти неизбежно даёт артефакты. Если вы делаете реставрацию, апскейл или монтаж, смотрите результат в движении, а не по скриншотам.
На что тратить вычисления при обучении
Ведущий спросил, не вытесняет ли авторегрессия диффузию в генерации изображений. Блатман признаёт плюсы обоих подходов. Авторегрессионная модель учится сразу на всех токенах обучающего примера. У диффузии свой козырь: длинный процесс генерации можно сжать до нескольких шагов. Что важнее, зависит от того, за что вы платите: за обучение модели или за ожидание готовой картинки.
Дастин Подел показывает, как команда выбирает, во что вкладываться. Он предположил, что модель, умеющая нарисовать собаку в шляпе, уже знает, где шляпам место. Вместе с коллегой он собрал небольшой набор фотографий с подписанными отношениями между объектами. Обучение в несколько часов научило модель ставить логотип на футболку. Результат был грубым, но его хватило, чтобы показать на выездной встрече команды. После этого на данные и модель ушли месяцы. Так появился FLUX Kontext, который вносит запрошенную правку и сохраняет остальную часть изображения.
Любимая история Подела: люди загружали в FLUX старые испорченные семейные фото, восстанавливали их и показывали родным. Такого применения он не предсказывал. Заметить, что сохранение внешности человека при правках и между кадрами удалось, могут как раз родственники на этих снимках.
Чего в материале нет
Это разговор и анонс, а не техническая статья. В нём нет бенчмарков, сравнений с конкурентами и цифр по качеству FLUX 3. В списке глав значатся «мировые модели действий» (модели, которые предсказывают, как сцена меняется после действий) и «робототехника в 2027», но подробностей по ним в заметках нет. Тезис о том, что три сигнала дают более глубокое понимание мира, пока остаётся позицией лаборатории, а не доказанным результатом.
Практический вывод для тех, кто строит продукты на генеративных моделях. Проверяйте качество на движении камеры, смене ракурса и сохранении деталей и лиц между кадрами. Изображение, видео и звук всё чаще будут обучать в одной модели, и пайплайны из отдельных инструментов придётся пересматривать.
- 21 нояб. 2026 г.Хаб Huawei Ascend за пять часов пополнился 26 зеркалами открытых моделей
- 21 нояб. 2026 г.9 из 20 3D-моделей от нейросетей оказались непригодны для 3D-печати
- 18 нояб. 2026 г.sd.cpp вместо Forge Neo: девять моделей на видеокарте 16 ГБ рисуют за 5–68 секунд
- 12 нояб. 2026 г.JetBrains встроила в IDE 2026.3 Air для агентов и поссорила пользователей заставкой
Вопросы и ответы по материалу
Что известно по теме: мяч, который летит в вашу сторону?
Блатман объясняет «визуальный интеллект» на примере, который можно проверить одной рукой. Если вам бросают мяч, рука начинает двигаться ещё до того, как он долетел. Траекторию вы при этом не вычисляете и записать её не смогли бы. Именно такое знание о мире лаборатория хочет получить от модели. У каждого типа данных своя роль. Статичная картинка показывает, где мяч находится сейчас. Видео показывает, как он туда попал.
Что известно по теме: почему апскейл ломается из-за мерцания?
Самый практичный пример из конца разговора — увеличение разрешения видео. Если улучшать каждый кадр отдельно, каждый по отдельности может выглядеть великолепно. Но при воспроизведении добавленные детали начинают мерцать: апскейлер, то есть увеличитель разрешения, каждый раз принимал чуть другое решение, и между соседними кадрами получилась рябь. BFL строит свой видеоапскейлер на той же основе, что и FLUX 3. Согласованность во времени нужна, даже когда пользователь просил только файл побольше.
Что известно по теме: на что тратить вычисления при обучении?
Ведущий спросил, не вытесняет ли авторегрессия диффузию в генерации изображений. Блатман признаёт плюсы обоих подходов. Авторегрессионная модель учится сразу на всех токенах обучающего примера. У диффузии свой козырь: длинный процесс генерации можно сжать до нескольких шагов. Что важнее, зависит от того, за что вы платите: за обучение модели или за ожидание готовой картинки. Дастин Подел показывает, как команда выбирает, во что вкладываться.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.