Адаптивный шум в SDE-сэмплере на Flux 3 Klein улучшил текстуру лишь на 1–2%

Генераторы изображений на flow matching можно запускать со стохастическим сэмплером: на каждом шаге он подмешивает свежий шум. Силу этого шума, параметр eta, обычно подбирают руками один раз и оставляют константой. Автор исследования на Хабре решил проверить, способен ли сэмплер выбирать eta сам, шаг за шагом, из данных, которые у него уже есть. Результат в основном отрицательный: адаптивная схема почти ничего не добавила, а лучший эффект на Flux 3 Klein составил около 1–2% от значения метрики текстуры.

Идея: управлять шумом бесплатными сигналами

Многошаговый решатель на каждом шаге и так считает два полезных числа. Первое — кривизна траектории, то есть насколько резко она изгибается. Второе — расхождение между предсказанием и поправкой, которое служит оценкой локальной ошибки. Обе величины не требуют дополнительных вызовов сети, поэтому с точки зрения вычислений схема ничего не стоит: ни лишних проходов по модели, ни роста времени генерации.

Гипотеза была логичной. Если шум вредит там, где поле «жёсткое», и помогает там, где оно гладкое, то фиксированный бюджет шума, распределённый по кривизне, должен обыгрывать константу. Для проверки автор написал ноду для ComfyUI и прогнал её на трёх открытых моделях: Anima, Flux 3 Klein и MOSS-Image. Число шагов варьировалось от 6 до 15.

Главное методическое решение — честная база сравнения. Каждый адаптивный запуск сопоставляли с запуском с постоянной eta и точно таким же суммарным бюджетом шума. Без этого «адаптивный» результат, как показала предыдущая работа автора, чаще всего оказывается просто «меньше шума», а не лучшим распределением.

Что сработало, а что нет

Кривизна не сработала. Ни на одной из моделей стабильного выигрыша нет, а знак эффекта меняется в зависимости от числа шагов. Для практики это значит, что опираться на кривизну при выборе eta не стоит.

Оценка ошибки решателя дала небольшой, но воспроизводимый сигнал. Если добавлять больше шума там, где ошибка мала, на Flux 3 Klein выигрыш составляет около 1–2% от значения текстурной метрики. Он подтвердился на новых seed по критериям, зафиксированным до запуска. На MOSS-Image эффект односторонний, на Anima автор его не обнаружил. На Krea 2 результат неубедительный из-за недостатка статистической мощности.

Самый интересный вывод касается самой адаптации. Фиксированный график шума, усреднённый по независимым запускам и применённый ко всем картинкам, даёт тот же результат, что и пошаговый выбор. Шум на краях окна шума помогает, в середине важен меньше. Иными словами, имеет значение положение шума по траектории, а не то, что видит сэмплер в конкретный момент. Адаптивная логика в таком случае лишняя: достаточно заранее посчитанного расписания, которое ничего не стоит в рантайме и проще в отладке.

Люди разницы не заметили

Автор провёл опрос на 39 человек: нужно было выбрать из двух картинок ту, что больше похожа на сгенерированную ИИ. Большую разницу между слабым и сильным шумом участники заметили. Новое распределение шума от обычного они отличить не смогли. Даже небольшой измеримый выигрыш в латентном пространстве, таким образом, не превращается в видимое улучшение.

Ограничения и практический вывод

Автор сам перечисляет слабые места работы. Метрики считаются в латентном пространстве, а не по восприятию глазом. По умолчанию использовано 16 пар картинок на каждый бюджет шума. На Anima применялась другая версия ComfyUI, чем на остальных моделях. Опрос неформальный и проводился без отбора участников. Всё это не позволяет переносить выводы на другие модели и режимы без повторной проверки.

Для разработчиков пайплайнов практический вывод простой. Если вы настраиваете SDE-сэмплер для flow-matching модели, не стоит усложнять его адаптивными правилами: сначала подберите фиксированное расписание шума с учётом краёв окна и проверяйте результат при равном суммарном бюджете. Иначе есть риск принять простое уменьшение шума за успех метода.

Автор считает, что о таких отрицательных результатах стоит рассказывать, и выложил код, числа по каждой картинке и разбор опроса в репозитории flow-sde-research на GitHub. Препринт доступен на Zenodo.