Des modèles de diffusion distillés apprennent à oublier le contenu indésirable grâce au DPO

Les modèles text-to-image rapides, compressés à quelques étapes de génération au lieu de plusieurs dizaines, sont devenus la norme pour les produits à faible latence. Avec la vitesse, ils ont hérité des modèles de base la capacité de produire ce qu'ils ne devraient pas : des personnes précises, de la nudité, des objets protégés. Les auteurs d'un nouveau préprint sur arXiv (cs.CV) affirment que les méthodes existantes de suppression de ces concepts fonctionnent mal sur les modèles distillés, et proposent leur propre variante fondée sur le Direct Preference Optimization.

Pourquoi l'unlearning classique échoue sur les modèles distillés

La plupart des méthodes d'oubli data-driven réentraînent les poids du modèle avec des fonctions objectif spécifiques. Ces fonctions reposent implicitement sur la dynamique du débruitage en plusieurs étapes : le modèle nettoie l'image progressivement, et le signal d'« oubli » se répartit le long d'une longue trajectoire. Chez les modèles few-step distilled (FSD), la trajectoire se réduit à une poignée d'étapes et la dynamique de génération change : cette hypothèse ne tient plus. D'après les auteurs, le résultat est un oubli inefficace : le concept ciblé continue d'apparaître.

Le contournement est évident. On peut appliquer l'unlearning au modèle de base non distillé, puis refaire la distillation. Mais cela demande beaucoup de calcul et de temps, et ce processus n'est pas praticable dans de nombreux scénarios, notamment lorsque le modèle de base est mis à jour et que la liste des concepts interdits s'allonge.

Ce que proposent les auteurs

Les chercheurs sont revenus au Direct Preference Optimization pour les modèles de diffusion. Le DPO standard et ses dérivés pour l'unlearning sont formulés autour de l'erreur de prédiction du bruit. Sur les modèles FSD, cette formulation se transpose mal, précisément à cause de la dynamique de génération modifiée.

Les auteurs introduisent donc une formulation modifiée de la preference optimization, explicitement alignée sur les propriétés de la génération en peu d'étapes. L'idée est de supprimer le concept directement dans le modèle distillé, sans toucher à sa vitesse ni détruire ses autres capacités.

Paramètres du travail divulgués dans le résumé :

• Objet : modèles de diffusion text-to-image few-step distilled.
• Méthode : unlearning piloté par les préférences, fondé sur un DPO reformulé pour la génération FSD.
• Tâches principales : suppression d'identités (identity) et de contenu NSFW (nudity).
• En complément : unlearning au niveau des objets.
• Propriétés revendiquées : oubli robuste des concepts ciblés, maintien du régime en peu d'étapes, forte conservation des capacités « autorisées ».
• Le résumé ne donne aucune métrique chiffrée : il faut les chercher dans le texte complet de l'article.

Que doivent faire les équipes qui déploient des modèles rapides ?

Pour ceux qui déploient des modèles distillés en production, la leçon pratique est la suivante : on ne peut pas considérer que les méthodes de sécurité se transfèrent automatiquement du modèle de base au modèle distillé. La vérification doit se faire sur le modèle FSD lui-même, et avec le nombre d'étapes réellement utilisé dans le service. Si un filtre a « oublié » un concept à 50 étapes, cela ne garantit rien pour 1–4 étapes.

Pour l'instant, ce travail n'existe que sous forme de préprint et n'a fait l'objet d'aucune vérification indépendante. Avant tout déploiement, mieux vaut attendre le code et les checkpoints, faire tourner ses propres jeux de prompts de red-team et mesurer la dégradation collatérale : par exemple, l'effet de la suppression d'une personne précise sur la génération de personnes d'apparence proche. Il est aussi pertinent de comparer le coût de l'approche à celui d'une redistillation sur votre propre matériel : l'économie de temps et de calcul est ici l'argument principal.

Pour les scénarios réglementaires et juridiques, des demandes de suppression de données biométriques et d'image d'une personne à la modération du NSFW, la possibilité de corriger directement un modèle déjà compressé paraît nettement plus commode que de reconstruire toute la chaîne. Les auteurs ne disent rien, dans le résumé, de la robustesse de la méthode face aux prompts de contournement et au réentraînement par un acteur malveillant : la question reste ouverte.