DiffusionART acelera o ajuste fino por RL de modelos de vídeo em 12 vezes, sem precisar calibrar o EMA

Uma equipe de pesquisadores publicou no arXiv o DiffusionART, um método de aprendizado por reforço online para modelos de difusão. Ele ataca dois problemas conhecidos: a lentidão do Flow-GRPO e a sensibilidade do DiffusionNFT a ajustes. No experimento principal, com o HunyuanVideo-13B, em que a qualidade visual e a qualidade do movimento entram na recompensa com pesos iguais, o DiffusionART alcança o nível final de recompensa média do DiffusionNFT 12,02 vezes mais rápido em GPU-horas, e o do Flow-GRPO-Fast 11,72 vezes mais rápido. A recompensa média durante o treinamento fica 28,8% e 53,0% maior, respectivamente. Trata-se de um preprint, e ainda não há replicações independentes.

Onde as abordagens anteriores falhavam

O RL online é necessário quando o modelo precisa ser ajustado a recompensas que não podem ser diferenciadas, como avaliação de estética, qualidade do movimento ou preferências humanas. Métodos do processo reverso, como o Flow-GRPO, trabalham sobre a trajetória de remoção de ruído. A recompensa chega uma única vez para a amostra inteira, mas a trajetória tem muitos passos. Não fica claro qual deles contribuiu para o resultado, o que torna a atribuição de crédito (credit assignment) ruim e o treinamento caro.

Métodos do processo direto, como o DiffusionNFT, são mais eficientes, mas dependem de uma média móvel exponencial (EMA) cuidadosamente calibrada para o treinamento off-policy. Sem ela, o treinamento se torna instável. Os autores do DiffusionART explicam o motivo. Segundo a análise deles, objetivos do tipo NFT carregam uma força oculta de consistência entre os processos direto e reverso. O treinamento conjunto com exemplos positivos e negativos só a suprime parcialmente. Já a EMA estabiliza o processo não graças aos rollouts off-policy, como se costuma acreditar, mas por meio de uma "recuperação": ela puxa os parâmetros de volta quando o modelo deriva.

Como funciona o DiffusionART

O nome significa Diffusion Reinforcement with Aggregation-First Reward Tilting. Primeiro, o método agrega as recompensas de todas as amostras de um mesmo prompt em uma direção comum de melhoria para os estados do processo reverso. Assim, a força oculta de consistência é eliminada por construção, em vez de ser apenas parcialmente suprimida. O segundo passo é uma atualização adicional com máscara de trust region. Ela leva o modelo de volta conforme ele deriva, ou seja, assume o papel da EMA, mas sem exigir a calibração de seus parâmetros.

Principais dados do trabalho:

• Teste principal: HunyuanVideo-13B, com recompensas de qualidade visual e de movimento em pesos iguais.
• Ganho em GPU-horas até o nível final de recompensa: 12,02× frente ao DiffusionNFT e 11,72× frente ao Flow-GRPO-Fast.
• Recompensa média no treinamento: 28,8% maior que a do DiffusionNFT e 53,0% maior que a do Flow-GRPO-Fast.
• Não é necessário um modelo de recompensa diferenciável.
• O método continua eficiente com menos amostras por prompt.
• A variante DiffusionART-Pairwise funciona com modelos de recompensa pareados.
• Os autores declaram que o método se aplica à geração de imagens e de vídeo sem ajuste específico para cada tarefa.

O que fazer com isso na prática

Para equipes que fazem ajuste fino de modelos de vídeo e imagem com sinais de recompensa, o principal valor está no custo. Uma execução com um modelo de vídeo de 13 bilhões de parâmetros consome milhares de GPU-horas, e uma redução de uma ordem de grandeza muda o orçamento dos experimentos. Dispensar a calibração da EMA elimina mais uma camada de busca de hiperparâmetros, e trabalhar com menos amostras por prompt reduz o custo de cada passo.

A variante Pairwise é útil quando não existe uma nota escalar, apenas comparações do tipo "melhor/pior", como em dados de anotadores.

Também é preciso cautela. Os números do abstract descrevem a recompensa média durante o treinamento e a velocidade para atingir um nível definido. Eles não mostram como o resultado se apresenta para uma pessoa em prompts held-out e não descartam reward hacking, situação em que o modelo se ajusta à métrica, e não à qualidade. Antes de levar o método para o seu pipeline, vale esperar pelo código, por reproduções independentes e por avaliações em conjuntos held-out com participação de humanos.