Por que os modelos de difusão deixam costuras em fotos de 40 megapixels e como dar memória aos blocos

Главная причина швов на сверхбольших снимках оказывается не в плохой склейке и не только в нехватке видеопамяти. Проблема глубже: диффузионные фото-модели не держат память между соседними фрагментами изображения. Когда кадр на 40–150 мегапикселей режут на десятки или сотни тайлов, модель каждый раз принимает решение заново и не знает, какой оттенок неба, тон кожи или масштаб текстуры уже выбрала рядом.

Отсюда и появляются ступеньки на градиентах, плавающий цвет и заметные стыки, которые особенно болезненны в профессиональной ретуши. Автор подходит к теме не теоретически, а из практики: за плечами у него двадцать лет ретуши и четыре года попыток приспособить диффузионные модели к продакшену. В студийной, рекламной и журнальной съемке высокое разрешение — не роскошь, а рабочий стандарт, и такие кадры редко помещаются в один проход генерации или редактирования.

Поэтому индустрия снова и снова приходит к одному и тому же приему: картинку делят на 100 и больше фрагментов, обрабатывают по отдельности и потом собирают обратно. На мелких деталях это может работать терпимо, но на коже, ткани, фоне и световых переходах артефакты почти неизбежны. Корень проблемы в том, что обычный тайлинг сохраняет локальную детализацию, но ломает глобальную согласованность.

Каждый тайл видит только свой кусок сцены и не понимает, что происходит слева, справа, сверху и снизу. Даже если соседние области перекрываются, модель всё равно способна чуть сдвинуть цветовой баланс, по-разному трактовать зерно, добавить несовпадающие поры или построить другой ритм текстуры. Блендинг и маски скрывают часть дефектов, но не устраняют причину: у фото-модели нет механизма, который связывал бы решения между соседями.

Именно поэтому идеальная склейка на очень больших кадрах остается скорее исключением, чем нормой. В статье предлагается смотреть в сторону видео-диффузии, где проблема согласованности уже давно стоит в центре архитектуры. Видео-модель должна помнить, как выглядел объект в предыдущем кадре, чтобы не терять лицо, свет, фактуру и положение деталей при движении.

Автор разбирает восемь классов такой памяти — от BCLA из SANA-Video и FramePack до SVD reshape, AnimateDiff и других подходов — и оценивает, что из этого можно перенести на тайлы, а что нет. Ключевой вопрос здесь не в названии метода, а в принципе: можно ли заставить фото-модель передавать соседнему фрагменту компактный контекст, скрытое состояние или общую сценовую структуру, чтобы решения принимались не в вакууме. Из этого вытекают и три большие идеи для практики.

Первая — обмен контекстом между соседними тайлами, когда модель получает не только текущий фрагмент, но и сжатую информацию о уже обработанных областях. Вторая — общая память на уровне латентов или attention-механизмов, которая удерживает единый цвет, освещение и характер поверхности на всем снимке. Третья — многошаговая схема, где сначала строится грубое глобальное представление всей сцены, а затем локальные тайлы лишь уточняют детали, не ломая общую картину.

Для печати, наружной рекламы, бьюти-ретуши и коммерческой съемки это критично: там любой разрыв текстуры или скачок тона становится виден сразу. Главный вывод простой: ограничение упирается не только в железо и не только в размер изображения, а в саму архитектуру фото-диффузии. Пока модель не научится помнить, что уже произошло по соседству, обработка 40-мегапиксельных и более крупных кадров останется компромиссом между детализацией и целостностью.

Если же механики памяти из видео удастся адаптировать к тайлам, диффузионные модели сделают заметный шаг из мира эффектных демо в сторону полноценного профессионального инструмента для ретуши и постпродакшена.