Apple ускорила видеомодель в 7,6 раза: кадр за 36 мс вместо 272 мс
Видеомодели, которые рисуют ролик кадр за кадром, в играх и симуляторах реагируют на нажатие клавиши с заметной паузой. Лучшая открытая модель Causal Forcing++ тратила на кадр 272 мс на GPU B200, а метод Apple FastFrames сократил это до 36 мс (версия S) — в 7,6 раза быстрее. Секрет в замене тяжёлого VAE-декодера (147 мс на кадр) на мини-сеть за 1 мс. Людям мешает задержка от 50–60 мс, так что цель — уложиться в 50 мс на кадр.
AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Представьте игру, в которой каждый кадр рисует нейросеть: вы нажали «вперёд», а мир отреагировал только через секунду. Именно такая задержка мешает видеомоделям, которые генерируют ролик кадр за кадром, стать основой игр, симуляторов и предсказательных моделей для роботов. Apple выпустила метод FastFrames, который эту паузу сокращает. Самая быстрая открытая модель такого типа, Causal Forcing++ на 1,3 млрд параметров, тратила на один кадр 272 мс на GPU Nvidia B200. Версия FastFrames-S делает тот же кадр за 36 мс — это в 7,6 раза быстрее. Ориентир такой: человек замечает задержку примерно от 50–60 мс, поэтому на кадр должно уходить не больше 50 мс. Практический вывод для тех, кто делает интерактивное видео: считать нужно задержку реакции на действие, а не кадры в секунду.
Почему FPS здесь обманывает
Привычная метрика скорости — кадры в секунду (FPS). Но она показывает среднюю производительность, а не отзывчивость. Допустим, модель генерирует видео пачками по 30 кадров и тратит на каждую по секунде. Формально это 30 FPS. Только игрок нажал клавишу сразу после старта пачки и увидит результат лишь через секунду, когда будет готов следующий блок.
Поэтому Apple измеряет задержку от команды до первого кадра, на котором видно её действие. Целевой порог взяли из исследований взаимодействия человека с компьютером: задержку больше 50–60 мс люди уже замечают. Значит, на кадр должно уходить не больше 50 мс.
Куда уходило время и что заменили
Чтобы понять, где теряются миллисекунды, команда разобрала Causal Forcing++. На одном B200 она тратит на кадр 272 мс, и лишь около 30% этого времени уходит на шаги диффузии, то есть на превращение шума в картинку.
Основные потери оказались в другом месте:
- VAE-декодер, который переводит внутреннее (латентное) представление кадра в пиксели, занимает 147 мс — больше половины времени;
- ещё 41,6 мс отнимает дополнительный проход трансформера, нужный только для обновления KV-кэша — памяти модели о том, что она уже показала.
FastFrames заменяет оба узла. Вместо VAE работает лёгкий декодер из трёх свёрточных блоков и линейного слоя: он тратит на кадр 1 мс. А вместо лишнего прохода трансформера небольшая сеть за 2 мс исправляет кэш, записанный по зашумлённому входу. Сам трансформер не меняется и не переобучается. Остальное ускорение дают системные оптимизации, включая распределение вычислений между несколькими GPU.
Цифры и модели
Apple выложила на Hugging Face две модели на базе Wan 2.1: FastFrames-S на 1,3 млрд параметров и FastFrames-L на 14 млрд. Обе генерируют видео по текстовому описанию: ролики около пяти секунд, разрешение 832×480, 81 кадр, 16 кадров в секунду.
FastFrames-S делает кадр за 36 мс на одном B200 — в 7,6 раза быстрее Causal Forcing++. Качество при этом не просело: на бенчмарке VBench модель набирает 84,23 балла против 84,11.
FastFrames-L на восьми B200 укладывается в 45 мс на кадр, а на одном GPU — в 158 мс. Её результат на VBench — 84,44 балла, на уровне Krea-Realtime 14B (84,42), которой на кадр нужно 1675 мс.
Метод переносится и на чужие модели. Открытая модель мира LingBot от Robbyant, по которой можно ходить с клавиатуры, стала откликаться на нажатие клавиши за 52 мс вместо 842. Модель с физическим управлением RealWonder отвечает за 51 мс вместо 1141. Но обеим для этого нужны восемь GPU.
Ограничения и что делать на практике
Есть несколько оговорок. Рекордные значения для крупных моделей требуют восьми GPU уровня B200, так что это не история для ноутбука или обычного облачного инстанса. Порог в 50 мс достигнут только на самых дорогих конфигурациях, а FastFrames-L на одной карте с 158 мс до него не дотягивает. Кроме того, веса выпущены под лицензией Apple Model License for Research — для исследований, а не для коммерческого продукта.
Для разработчиков интерактивных видеосистем — игровых прототипов, симуляторов миров, предсказательных моделей для роботов — вывод простой: измеряйте не FPS, а время от нажатия до видимой реакции. И ищите узкие места не только в диффузионных шагах: здесь главными виновниками оказались декодер и обслуживание кэша. Замена их на маленькие обученные сети дала почти весь выигрыш без переобучения основной модели.
Для продактов сигнал тоже понятен: видеомодели переходят из режима «сгенерировал и показал» в режим «отвечает на ввод». Пока это исследовательский релиз, но открытые веса позволяют проверить результат самостоятельно.
- 19 нояб. 2026 г.Скрипт на GitHub ловит причины отказа App Store и Google Play до ревью: 542 звезды за день
- 19 нояб. 2026 г.Cloudflare открыла модель Clairic: точность на чеках выросла с 64% до 100%
- 18 нояб. 2026 г.Уиллисон выпустил три внешние песочницы: код агентов не тронет ваш ноутбук
- 18 нояб. 2026 г.Dreamina запустила Motion Studio: моушен-графика кодом по промпту
Вопросы и ответы по материалу
Что известно по теме: почему FPS здесь обманывает?
Привычная метрика скорости — кадры в секунду (FPS). Но она показывает среднюю производительность, а не отзывчивость. Допустим, модель генерирует видео пачками по 30 кадров и тратит на каждую по секунде. Формально это 30 FPS. Только игрок нажал клавишу сразу после старта пачки и увидит результат лишь через секунду, когда будет готов следующий блок. Поэтому Apple измеряет задержку от команды до первого кадра, на котором видно её действие.
Что известно по теме: куда уходило время и что заменили?
Чтобы понять, где теряются миллисекунды, команда разобрала Causal Forcing++. На одном B200 она тратит на кадр 272 мс, и лишь около 30% этого времени уходит на шаги диффузии, то есть на превращение шума в картинку. Основные потери оказались в другом месте: VAE-декодер, который переводит внутреннее (латентное) представление кадра в пиксели, занимает 147 мс — больше половины времени; ещё 41,6 мс отнимает дополнительный проход трансформера, нужный только для обновления KV-кэша — памяти модели о том,…
Что известно по теме: цифры и модели?
Apple выложила на Hugging Face две модели на базе Wan 2.1: FastFrames-S на 1,3 млрд параметров и FastFrames-L на 14 млрд. Обе генерируют видео по текстовому описанию: ролики около пяти секунд, разрешение 832×480, 81 кадр, 16 кадров в секунду. FastFrames-S делает кадр за 36 мс на одном B200 — в 7,6 раза быстрее Causal Forcing++. Качество при этом не просело: на бенчмарке VBench модель набирает 84,23 балла против 84,11. FastFrames-L на восьми B200 укладывается в 45 мс на кадр, а на одном GPU — в 158 мс.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.