DiffusionART acelera 12 veces el ajuste con RL de modelos de video sin afinar la EMA

Un equipo de investigadores ha publicado en arXiv DiffusionART, un método de aprendizaje por refuerzo online para modelos de difusión. Apunta a dos problemas conocidos: la lentitud de Flow-GRPO y la sensibilidad de DiffusionNFT a su configuración. En el experimento principal con HunyuanVideo-13B, donde la calidad visual y la calidad del movimiento entran en la recompensa con pesos iguales, DiffusionART alcanza el nivel tardío de recompensa media de DiffusionNFT 12,02 veces más rápido en horas de GPU, y el de Flow-GRPO-Fast, 11,72 veces más rápido. La recompensa media durante el entrenamiento es, además, un 28,8% y un 53,0% más alta, respectivamente. Se trata de un preprint y todavía no hay réplicas independientes.

Dónde fallaban los enfoques anteriores

El RL online se necesita cuando hay que ajustar un modelo a recompensas que no se pueden diferenciar: la valoración de la estética, la calidad del movimiento o las preferencias humanas. Los métodos de proceso inverso, como Flow-GRPO, trabajan sobre la trayectoria de eliminación de ruido. La recompensa llega una sola vez por muestra completa, pero los pasos son muchos. No está claro cuál de ellos contribuyó a la mejora, de modo que la asignación de crédito (credit assignment) es deficiente y el entrenamiento resulta caro.

Los métodos de proceso directo, como DiffusionNFT, son más eficientes, pero dependen de una media móvil exponencial (EMA) cuidadosamente ajustada para el entrenamiento off-policy. Sin ella, el entrenamiento se vuelve inestable. Los autores de DiffusionART explican la causa. Según su análisis, los objetivos de tipo NFT contienen una fuerza oculta de consistencia entre los procesos directo e inverso. El entrenamiento conjunto con ejemplos positivos y negativos solo la amortigua en parte. Y la EMA no estabiliza el proceso gracias a los rollouts off-policy, como se suele creer, sino mediante una «recuperación»: devuelve los parámetros hacia atrás cuando el modelo deriva.

Cómo funciona DiffusionART

El nombre se desglosa como Diffusion Reinforcement with Aggregation-First Reward Tilting. Primero, el método agrega las recompensas de todas las muestras de un mismo prompt en una dirección de mejora común para los estados del proceso inverso. Así, la fuerza oculta de consistencia se elimina por construcción en lugar de amortiguarse en parte. El segundo paso es una actualización adicional con una máscara de trust region. Esta actualización devuelve el modelo hacia atrás a medida que deriva, es decir, asume el papel de la EMA, pero sin necesidad de ajustar sus parámetros.

Parámetros principales del trabajo:

• Prueba principal: HunyuanVideo-13B, con recompensas de calidad visual y de movimiento de igual peso.
• Ganancia en horas de GPU hasta el nivel tardío de recompensa: 12,02× frente a DiffusionNFT y 11,72× frente a Flow-GRPO-Fast.
• Recompensa media durante el entrenamiento: un 28,8% superior a la de DiffusionNFT y un 53,0% superior a la de Flow-GRPO-Fast.
• No se requiere un modelo de recompensa diferenciable.
• El método sigue siendo eficaz con menos muestras por prompt.
• La variante DiffusionART-Pairwise funciona con modelos de recompensa por pares.
• Se afirma que es aplicable a la generación de imágenes y de video sin ajustes específicos para cada tarea.

Qué significa en la práctica

Para los equipos que ajustan modelos de video e imagen con señales de recompensa, el principal valor está en el coste. Una ejecución con un modelo de video de 13.000 millones de parámetros se mide en miles de horas de GPU, y una reducción de un orden de magnitud cambia el presupuesto de experimentos. Prescindir del ajuste de la EMA elimina otra capa de búsqueda de hiperparámetros, y trabajar con menos muestras por prompt abarata cada paso.

La variante Pairwise resultará útil donde no hay una puntuación escalar y solo existen comparaciones del tipo «mejor/peor», por ejemplo, en datos de anotadores.

También conviene ser prudente. Las cifras del abstract describen la recompensa media durante el entrenamiento y la velocidad para alcanzar un nivel dado. No dicen cómo se ve el resultado para una persona en prompts de validación (held-out) ni excluyen el reward hacking, cuando el modelo se ajusta a la métrica y no a la calidad. Antes de llevar el método a un pipeline propio, conviene esperar al código, a reproducciones independientes y a evaluaciones con personas sobre conjuntos de validación.