Consistent Distribution Matching reduz a difusão a 1 passo com FID de 2,04

Modelos de difusão e flow geram imagens de alta qualidade, mas pagam por isso com o número de passos de integração numérica. Um grupo de autores propôs o Consistent Distribution Matching (CDM), um método de destilação que acelera esses modelos sem dataset, sem execuções do professor e sem redes auxiliares. No ImageNet 256×256, o aluno entrega FID de 2,04 com uma avaliação de função (1-NFE) e FID de 1,37 com quatro (4-NFE). O treinamento leva 40 épocas. De acordo com o artigo, o resultado supera os melhores métodos de referência de destilação que funcionam sem dados. O código e o modelo foram publicados em consistentdmd.github.io.

O que há de errado com a destilação atual

A ideia da destilação é simples: o aluno aprende a reproduzir a dinâmica do professor para obter em um ou dois passos o que o professor faz em dezenas. Na prática, as abordagens existentes acumulam um pacote de dependências. Algumas exigem um dataset coletado especificamente para a destilação. Outras precisam de execuções caras do professor, isto é, a simulação completa de trajetórias para gerar os pares de treino. Há ainda as que requerem redes proxy auxiliares, treinadas em paralelo ao modelo principal.

Cada uma dessas dependências dificulta o escalonamento. O dataset precisa ser armazenado e limpo, as execuções do professor consomem computação, e a rede extra adiciona hiperparâmetros e o risco de treinamento instável. Os autores do CDM miram justamente essa camada de custos de engenharia.

Como funciona o CDM

A sacada central: uma única rede aluno executa duas tarefas ao mesmo tempo, gera amostras e estima o score (o gradiente do logaritmo da densidade). Em esquemas com rede proxy separada, essas funções costumam ficar divididas. Aqui elas são unificadas, e por isso apenas dois modelos participam do treinamento: o professor congelado e o aluno treinável. Otimiza-se um único objetivo.

No artigo, o aluno é descrito como um flow-map, ou seja, um mapeamento que transforma ruído em amostra. Os autores demonstram que minimizar o objetivo implica convergência de Wasserstein: as distribuições obtidas pelo pushforward através do flow-map do aluno se aproximam das distribuições marginais do professor. Trata-se de uma garantia teórica de que o aluno se ajusta à distribuição do professor, em vez de se ajustar apenas a pontos convenientes na métrica.

O método é chamado de data-free e simulation-free. O treinamento não exige imagens reais nem que o professor percorra a trajetória inteira.

Principais métricas

• Benchmark: ImageNet 256×256.
• 1-NFE: FID de 2,04.
• 4-NFE: FID de 1,37.
• Orçamento de treinamento: 40 épocas.
• Componentes: professor congelado e aluno treinável, uma única função de perda.
• Dados para a destilação: não são usados.
• Teoria: convergência de Wasserstein demonstrada para o pushforward do flow-map.
• Lançamento: código e modelo em acesso aberto.

O que verificar na prática

Todos os números do artigo se referem à geração condicionada por classe no ImageNet 256×256. É um campo de testes padrão, porém bastante restrito. Não há base para transferir o resultado a modelos text-to-image com bilhões de parâmetros, prompts longos e alta resolução. A confirmação da escalabilidade será a principal pergunta sobre o CDM. A afirmação dos autores sobre a comparação com os melhores métodos de referência sem dados merece ser conferida nas tabelas do próprio artigo e em reproduções com o código aberto.

Para quem constrói inferência de produto com geração de imagens ou vídeo, o método interessa por três motivos. Primeiro, não é preciso preparar um dataset para a destilação, o que resolve um problema à parte no caso de professores fechados ou com licenças complicadas. Segundo, um pipeline com dois modelos e uma função de perda é mais simples de manter e mais barato de depurar. Terceiro, um passo com FID de 2,04 e quatro passos com FID de 1,37 sugerem um compromisso conveniente: dá para escolher entre velocidade máxima e qualidade sem retreinar do zero.

O primeiro passo lógico para uma equipe é pegar o código publicado, repetir a destilação em um pequeno modelo flow próprio e medir o FID com 1 e 4 passos. Vale comparar de imediato o custo em horas de GPU com a receita atual, porque a economia em dados e em execuções do professor importa tanto quanto a métrica em si.