Modelos de difusión destilados aprenden a olvidar contenido no deseado mediante DPO

Los modelos text-to-image rápidos, comprimidos a unos pocos pasos de generación en lugar de decenas, se han convertido en el estándar para los productos de baja latencia. Junto con la velocidad, han heredado de los modelos base la capacidad de dibujar lo que no debería dibujarse: personas concretas, desnudos y objetos protegidos. Los autores de un nuevo preprint en arXiv (cs.CV) afirman que los métodos existentes para eliminar esos conceptos funcionan mal en modelos destilados, y proponen una variante propia basada en Direct Preference Optimization.

Por qué el unlearning clásico falla en los modelos destilados

La mayoría de los métodos de olvido basados en datos (data-driven) ajustan los pesos del modelo con funciones objetivo especiales. Esas funciones se apoyan de forma implícita en la dinámica de la eliminación de ruido en múltiples pasos: el modelo limpia la imagen poco a poco, y la señal de «olvido» se reparte a lo largo de una trayectoria larga. En los modelos few-step distilled (FSD) la trayectoria se reduce a un puñado de pasos, la dinámica de generación es distinta y esa suposición deja de cumplirse. El resultado, según los autores, es un olvido ineficaz: el concepto objetivo sigue apareciendo.

La solución alternativa es evidente. Se puede aplicar unlearning al modelo base no destilado y después repetir la destilación. Pero eso exige mucho cómputo y tiempo, y en muchos escenarios el proceso resulta poco práctico, sobre todo cuando el modelo base se actualiza y la lista de conceptos prohibidos crece.

Qué proponen los autores

Los investigadores han retomado Direct Preference Optimization para modelos de difusión. El DPO estándar y sus derivados para unlearning se formulan en torno al error de predicción del ruido. En los modelos FSD ese planteamiento se transfiere mal precisamente por el cambio en la dinámica de generación.

En su lugar, los autores introducen una formulación modificada de preference optimization, alineada explícitamente con las propiedades de la generación en pocos pasos. La idea es eliminar el concepto directamente en el modelo destilado, sin afectar a su velocidad y sin degradar el resto de sus capacidades.

Parámetros del trabajo que se detallan en el resumen:

• Objeto: modelos de difusión text-to-image few-step distilled.
• Método: preference-driven unlearning basado en un DPO reformulado para la generación FSD.
• Tareas principales: eliminación de identidades (identity) y de contenido NSFW (nudity).
• Adicionalmente: unlearning a nivel de objetos.
• Propiedades declaradas: olvido robusto de los conceptos objetivo, conservación del régimen de pocos pasos y fuerte retención de las capacidades «permitidas».
• El resumen no incluye métricas numéricas; hay que consultarlas en el texto completo del artículo.

Qué deben hacer los equipos que despliegan modelos rápidos

Para quienes despliegan modelos destilados en producción, la conclusión principal es práctica: no se puede dar por hecho que las técnicas de seguridad se transfieren automáticamente del modelo base al destilado. Hay que comprobarlas en el propio modelo FSD y con el número de pasos que se usa realmente en el servicio. Si un filtro «olvidó» un concepto con 50 pasos, eso no garantiza nada con 1–4.

Por ahora el trabajo existe solo como preprint y no cuenta con verificación independiente. Antes de adoptarlo conviene esperar al código y a los checkpoints, ejecutar conjuntos propios de prompts de red-team y medir la degradación colateral: por ejemplo, cómo afecta la eliminación de una identidad concreta a la generación de personas de aspecto parecido. También merece la pena comparar el coste del enfoque con el de una nueva destilación en su propio hardware: el ahorro de tiempo y cómputo es aquí el argumento principal.

En escenarios regulatorios y legales, desde las solicitudes de eliminación de datos biométricos y de la imagen de una persona hasta la moderación de NSFW, poder corregir directamente un modelo ya comprimido resulta claramente más cómodo que reconstruir todo el pipeline. Los autores no dicen en el resumen hasta qué punto el método resiste prompts que lo eludan o un ajuste fino por parte de un atacante, y esa cuestión sigue abierta.