CacheScope ускоряет диффузионные модели до 3,57x и режет LPIPS на 70%

Команда авторов препринта на arXiv предложила CacheScope — надстройку над кэшированием признаков в диффузионных трансформерах. Метод ускоряет инференс до 3,57 раза и снижает медианный LPIPS до 70,1% по сравнению с сильнейшим базовым методом на основе проб. Тесты проведены на трёх моделях: FLUX.1-dev для изображений, Wan2.1-T2V-1.3B и Open-Sora 1.2 для видео. Дообучение, градиенты и вспомогательные сети не нужны.

Где ломается кэширование признаков

Логика training-free ускорения проста. На выбранных шагах денойзинга модель не считает все блоки, а подставляет приближение из кэша, собранного на предыдущих шагах. Основные усилия исследователей до сих пор уходили на то, чтобы точнее восстанавливать пропущенные признаки: придумывать более сложные реконструкторы.

Авторы CacheScope утверждают, что эта ставка упирается в потолок. Как только используется стабильный реконструктор первого порядка, дальнейшее усложнение даёт мало. Куда сильнее на качество влияет другое: на каких шагах модель считает честно, а на каких берёт кэш. Расстановка точных шагов, по их данным, значительно важнее изощрённости аппроксимации.

Сигнал риска вместо сырой вариации

Остаётся вопрос, как понять, что кэш на данном шаге опасен. Существующие методы на основе проб смотрят, насколько изменился выход неглубокой пробы. Авторы указывают на проблему: эта абсолютная вариация зависит сразу от двух факторов. Первый — насколько сместилась входная траектория. Второй — насколько сильно сеть реагирует на такое смещение. Поэтому величина не отражает риск кэширования напрямую.

Решение — нормировка. Вариацию выхода пробы делят на соответствующее смещение входа и получают направленный коэффициент усиления на единицу движения траектории. Именно он служит индикатором.

На его основе CacheScope в онлайне находит шаги с высоким риском повторного использования кэша и на них переключается на полное вычисление. Реконструктор кэша остаётся прежним. Метод обходится без градиентов, дополнительного обучения, вспомогательных сетей и офлайн-оптимизации расписания под конкретный промпт.

Что заявлено в цифрах

• Ускорение: до 3,57x относительно полного денойзинга.
• Качество: медианный LPIPS ниже до 70,1% по сравнению с сильнейшим базовым методом на основе проб.
• Модели: FLUX.1-dev, Wan2.1-T2V-1.3B, Open-Sora 1.2.
• Требования: без обучения, градиентов, вспомогательных сетей и промпт-специфичных расписаний.
• Реконструктор кэша: без изменений, метод добавляется поверх существующего.

Формулировка «до» важна. Максимумы ускорения и улучшения LPIPS, скорее всего, относятся к разным моделям и режимам. Из аннотации не видно, какое железо использовалось и как меняются цифры при более консервативных настройках. Это препринт первой версии, без рецензирования и независимых воспроизведений.

Что проверять на практике

Для команд, которые уже ставят кэширование признаков на FLUX или видеомодели, интересна архитектурная деталь: CacheScope не заменяет реконструктор, а решает, когда его нельзя использовать. Теоретически это позволяет подключить его к имеющемуся пайплайну без переписывания кэша и без отдельного этапа калибровки под каждый промпт.

Перед внедрением стоит проверить три вещи. Во-первых, сравнить метод с вашим текущим кэшем на реальных промптах, а не только по LPIPS: метрика полезна, но не заменяет визуальную оценку. Во-вторых, измерить накладные расходы пробы и онлайн-решений на вашем железе, потому что итоговый выигрыш определяется ими. В-третьих, посмотреть на поведение при разных длинах траектории и числе шагов. Для видео, где артефакты накапливаются по кадрам, это особенно критично.

Если заявленные цифры подтвердятся, получится дешёвый способ сдвинуть баланс между скоростью и качеством без дообучения моделей.