Diffu-LoRA учит адаптер самому решать, в каких слоях Stable Diffusion нужен ранг

Команда авторов Diffu-LoRA предлагает новый способ персонализации text-to-image диффузионных моделей по нескольким референсным изображениям. Метод сам решает, каким слоям трансформера нужна адаптационная ёмкость, а каким нет. Предобученная основа остаётся замороженной, суммарный ранг укладывается в заранее заданный бюджет. Проверка шла на Stable Diffusion с субъектами из DreamBooth и дополнительно собранными наборами. Авторы сообщают об улучшении точности сохранения объекта и следования промпту относительно выбранных бейзлайнов. Конкретных чисел в аннотации нет, поэтому масштаб выигрыша пока оценить нельзя.

Какую проблему решает метод

Задача персонализации знакома каждому, кто обучал модель на своих фотографиях: нужно сохранить идентичность объекта и при этом позволить промпту переносить его в новые контексты. Полный файнтюн модели требует много параметров и памяти. Классическая LoRA сокращает число обучаемых параметров, но оставляет открытым вопрос, как распределить ёмкость адаптации по слоям. Обычно ранг задают одинаковым везде, хотя вклад слоёв в итоговый результат заведомо разный.

Diffu-LoRA превращает этот выбор в часть обучения. Ранг перестаёт быть гиперпараметром, который подбирают вручную или по привычке.

Как это устроено

В линейные слои трансформерных блоков вставляются обучаемые низкоранговые компоненты. Каждому компоненту присваивается обучаемый гейт, то есть скалярная оценка его полезности. Дальше работают два механизма:

• bilevel-оптимизация: веса адаптации и параметры гейтов обновляются на разных частях данных, чтобы гейты не подстраивались под тот же набор, на котором учатся сами веса;
• прогрессивный прунинг: компоненты с самыми низкими значениями гейтов постепенно удаляются, пока не будет достигнут заданный бюджет ранга.

В итоге ёмкость адаптации распределяется между слоями неравномерно. Часть слоёв получает больше ранга, часть остаётся почти без него. Бэкбон при этом не трогают, а значит, итоговый адаптер остаётся компактным, как и обычная LoRA.

Что проверили и чего не хватает

Эксперименты проведены со Stable Diffusion на объектах из DreamBooth и дополнительных собранных датасетах. По заявлению авторов, Diffu-LoRA улучшает общую точность сохранения субъекта и согласованность с промптом относительно оцениваемых файнтюнинг-бейзлайнов. Отдельные абляции разбирают вклад bilevel-оптимизации, прогрессивного прунинга и места установки адаптеров.

Осторожность здесь уместна. В аннотации нет значений метрик, размера бюджета ранга и списка бейзлайнов. Формулировка «относительно оцениваемых бейзлайнов» означает, что сравнение ограничено набором методов, выбранным самими авторами. Тест только на Stable Diffusion не отвечает на вопрос, как подход поведёт себя на более новых диффузионных трансформерах и больших моделях. Для этого нужны полный текст статьи и независимые воспроизведения.

Практический вывод

Для тех, кто делает персонализацию в продакшене (аватары, брендовые персонажи, товарные съёмки), идея полезна независимо от судьбы конкретного метода. Равномерный ранг по всем слоям не обязан быть оптимальным, и выученное распределение при том же бюджете может дать лучший баланс между узнаваемостью объекта и послушностью промпту. Если авторы выложат код и точные цифры, метод стоит прогнать на собственных данных против обычной LoRA с тем же числом параметров. Сравнивать нужно по двум осям: идентичность субъекта и следование промпту. До публикации этих данных Diffu-LoRA остаётся интересной гипотезой с подтверждением на ограниченном наборе экспериментов.