Flow matching: velocity scaling снизил FID с 28,0 до 12,2 на ImageNet-256

Масштабирование выученного поля скорости во flow matching недавно показало сильный прирост качества генерации. Новая работа на arXiv (cs.CV) не оспаривает сам эффект, но меняет его объяснение и предлагает способ подбирать коэффициент по измерению, а не вслепую. Результат: FID на ImageNet-256 при 25 вычислениях функции (NFE 25) и без guidance падает с 28,0 до 12,2. Это значение авторы оценивают линейной интерполяцией между измерениями FID при соседних значениях gain.

Что было принято за причину

В flow matching модель v_θ учится предсказывать скорость, с которой точка движется от шума к данным. Семплер интегрирует это поле по времени. Приём, о котором идёт речь, умножает предсказанную скорость на коэффициент γ(t). Предыдущая работа объясняла выигрыш так: обучение со среднеквадратичной ошибкой (MSE) систематически занижает величину скорости, а масштабирование возвращает её к правильному значению.

Авторы новой статьи с этим не согласны. Они утверждают, что обучение через MSE не создаёт дефицита величины скорости. Масштабирование при этом работает, значит, дело в другом механизме.

Временной лаг популяции

Предложенное объяснение называется population time lag. Состояния, которые семплер получает в модельный момент t, похожи на обучающие состояния из более раннего момента. Выборка как бы отстаёт по времени от того, чему модель училась на этом t. Поле скорости при этом применяется к точкам, которые «моложе», чем модель ожидает.

Отсюда два способа исправления, и в статье они названы равноправными:

• умножить скорость на gain γ(t), чтобы траектория быстрее догоняла нужную стадию;
• сдвинуть модельное время назад, чтобы подавать сети время, соответствующее реальному состоянию точки.

Оба приёма компенсируют один и тот же лаг. Именно поэтому масштабирование работало, хотя объяснение у него было другое.

Измерение вместо подбора

Главный практический вывод: лаг можно измерить. Авторы замеряют его и используют, чтобы выбрать gain. По их данным, это работает на разных архитектурах и размерах моделей.

Ключевые цифры из аннотации:

• датасет и разрешение: ImageNet-256;
• бюджет семплирования: NFE 25;
• guidance: не используется;
• FID до: 28,0;
• FID после: 12,2 (оценка линейной интерполяцией между соседними значениями gain);
• охват: разные архитектуры и размеры моделей.

Отдельно стоит учесть, что 12,2 не получено прямым замером в одной точке. Это интерполяция между двумя измеренными значениями gain. Для понимания масштаба эффекта этого достаточно, но точную воспроизводимость стоит проверять на собственных чекпоинтах. Аннотация не сообщает, как результат соотносится с guidance, большими бюджетами NFE или другими датасетами.

Что делать на практике

Команде, которая обучает или доводит flow-matching модели для изображений, из этого следует несколько шагов. Сначала проверьте, не стоит ли в вашем семплере уже какой-то множитель скорости или сдвиг расписания времени. Эти приёмы могут решать одну и ту же задачу и дублировать друг друга.

Затем замерьте лаг на своём чекпоинте и сопоставьте с ним значение gain, а не перебирайте коэффициент по сетке FID. Сетка стоит дорого, потому что каждая точка требует полной генерации выборки. Измерение лага потенциально сокращает этот перебор.

Наконец, при низком NFE, где ошибки семплера заметнее всего, сравните два варианта: scaling и сдвиг модельного времени. По статье они эквивалентны по смыслу, но на конкретной архитектуре и расписании шагов могут отличаться по устойчивости. Для исследователей работа задаёт и более общий вопрос: какие ещё «дефекты» семплеров на деле оказываются рассогласованием времени между обучением и выводом. Подробности и проверку выводов на других датасетах нужно искать в полном тексте статьи.