Diffu-LoRA apprend à l'adaptateur à décider lui-même quelles couches de Stable Diffusion ont besoin de rang

Les auteurs de Diffu-LoRA proposent une nouvelle façon de personnaliser des modèles de diffusion text-to-image à partir de plusieurs images de référence. La méthode décide elle-même quelles couches du transformer ont besoin de capacité d'adaptation, et lesquelles n'en ont pas besoin. Le modèle de base pré-entraîné reste gelé, et le rang total tient dans un budget défini à l'avance. La validation a été réalisée sur Stable Diffusion, avec des sujets issus de DreamBooth et des jeux de données supplémentaires constitués par les auteurs. Ceux-ci font état d'une meilleure préservation du sujet et d'un meilleur respect du prompt par rapport aux baselines retenues. L'abstract ne contient aucun chiffre précis : l'ampleur du gain ne peut donc pas encore être évaluée.

Quel problème la méthode résout-elle

Tous ceux qui ont entraîné un modèle sur leurs propres photos connaissent le problème de la personnalisation : il faut préserver l'identité du sujet tout en laissant le prompt le transposer dans de nouveaux contextes. Un fine-tuning complet du modèle exige beaucoup de paramètres et de mémoire. La LoRA classique réduit le nombre de paramètres entraînables, mais laisse ouverte la question de la répartition de la capacité d'adaptation entre les couches. En général, le rang est fixé à la même valeur partout, alors que la contribution des couches au résultat final diffère manifestement.

Diffu-LoRA fait de ce choix une partie de l'entraînement. Le rang cesse d'être un hyperparamètre que l'on règle à la main ou par habitude.

Comment ça fonctionne

Des composants de bas rang entraînables sont insérés dans les couches linéaires des blocs transformer. Chaque composant se voit attribuer un gate entraînable, c'est-à-dire un score scalaire de son utilité. Deux mécanismes entrent ensuite en jeu :

• optimisation bilevel : les poids d'adaptation et les paramètres des gates sont mis à jour sur des parties différentes des données, afin que les gates ne s'ajustent pas au jeu de données même sur lequel les poids s'entraînent ;
• élagage progressif : les composants dont les valeurs de gate sont les plus basses sont supprimés peu à peu, jusqu'à ce que le budget de rang fixé soit atteint.

Au final, la capacité d'adaptation se répartit de façon inégale entre les couches. Certaines reçoivent davantage de rang, d'autres en gardent très peu. Le backbone n'est pas modifié, si bien que l'adaptateur obtenu reste compact, comme une LoRA ordinaire.

Ce qui a été testé, et ce qui manque

Les expériences ont été menées avec Stable Diffusion sur des sujets de DreamBooth et sur des jeux de données supplémentaires constitués par les auteurs. Selon eux, Diffu-LoRA améliore la fidélité globale au sujet et la cohérence avec le prompt par rapport aux baselines de fine-tuning évaluées. Des ablations distinctes examinent l'apport de l'optimisation bilevel, de l'élagage progressif et de l'emplacement des adaptateurs.

La prudence s'impose. L'abstract ne donne ni les valeurs des métriques, ni la taille du budget de rang, ni la liste des baselines. La formule « par rapport aux baselines évaluées » signifie que la comparaison se limite à un ensemble de méthodes choisi par les auteurs eux-mêmes. Un test uniquement sur Stable Diffusion ne dit rien du comportement de l'approche sur des diffusion transformers plus récents et sur des modèles plus gros. Il faudra pour cela le texte complet de l'article et des reproductions indépendantes.

Ce qu'il faut en retenir en pratique

Pour ceux qui font de la personnalisation en production (avatars, personnages de marque, shootings produit), l'idée est utile quel que soit le sort de cette méthode précise. Un rang uniforme sur toutes les couches n'est pas nécessairement optimal, et une répartition apprise peut, à budget égal, offrir un meilleur équilibre entre reconnaissabilité du sujet et docilité au prompt. Si les auteurs publient le code et les chiffres exacts, la méthode mérite d'être testée sur ses propres données face à une LoRA ordinaire ayant le même nombre de paramètres.

La comparaison doit porter sur deux axes : l'identité du sujet et le respect du prompt. Tant que ces données ne sont pas publiées, Diffu-LoRA reste une hypothèse intéressante, confirmée sur un ensemble limité d'expériences.