Omni-Diffusion-Distill acelera dLLM multimodal em 18 vezes: 8 passos em vez de 128

Autores de um preprint no arXiv apresentaram o Omni-Diffusion-Distill, um método de destilação em duas etapas para modelos de linguagem de difusão multimodais unificados. Ele reduz a geração de imagens de 128 para 8 passos de decodificação e a compreensão multimodal de 512 para 64. Em tempo de execução, isso representa uma aceleração de 18,2 e 21,2 vezes. O aluno marca 0,828 no GenEval e 83,0 no DPG-Bench em text-to-image e, nas tarefas de compreensão, obtém 20,0 na avaliação por GPT do MM-Vet.

Por que as dLLMs unificadas são lentas

Uma dLLM multimodal unificada substitui a combinação de um modelo separado para imagens e outro para compreensão por uma única arquitetura. Tudo funciona no espaço discreto de tokens, tanto texto quanto imagens. O custo está na decodificação iterativa: o modelo refina a máscara de tokens aos poucos, e cada resposta exige dezenas ou centenas de passagens diretas (forward passes).

Os métodos existentes de destilação em poucos passos (few-step) são feitos para uma única tarefa: ou geração de imagens, ou geração de texto. Como comprimir uma dLLM multimodal totalmente discreta em um único aluno, preservando geração e compreensão, continuava sendo uma questão em aberto. É a ela que o trabalho responde.

Como funciona a destilação

Na primeira etapa, o aluno aprende a pular passos de decodificação. Para isso, ele reproduz trajetórias do professor mantidas em cache. Na segunda etapa, passa por um ajuste adicional com estados intermediários extraídos de suas próprias execuções. Assim, ele vê os erros que de fato comete na decodificação curta, e não apenas as trajetórias ideais do professor.

Os autores tratam separadamente duas fontes de degradação que surgem justamente no cenário unificado:

• A penalidade de colisões em pares (pairwise collision penalty) reduz repetições na decodificação paralela de texto. Quando o modelo escolhe vários tokens em um único passo, ele tende a produzir o mesmo token várias vezes.
• O guidance com consistência de entropia evita o colapso de entropia. Esse colapso ocorre quando o aluno se ajusta à distribuição "afiada" do professor na geração de imagens.

Os números do artigo

• Geração de imagens: 128 → 8 passos, aceleração de 18,2x.
• Compreensão multimodal: 512 → 64 passos, aceleração de 21,2x.
• GenEval: 0,828; DPG-Bench: 83,0.
• MM-Vet (avaliação por GPT): 20,0.
• COCO captioning: 57,2, o dobro dos 28,4 do professor com o mesmo número de passos.

Há um detalhe que merece atenção. O ganho de tempo (18,2x e 21,2x) é maior que a redução no número de passos (16x e 8x). O resumo não explica o motivo. Pode ser o custo de cada passo ou a simplificação do guidance, mas isso é apenas uma suposição, e a resposta deve estar no texto completo do trabalho. A comparação com o professor no COCO, com o mesmo orçamento de passos, também mostra que uma dLLM comum perde bastante qualidade quando os passos são cortados de forma agressiva, enquanto a versão destilada se mantém.

Onde isso pode ser útil

Para quem desenvolve produtos multimodais com LLMs de difusão, a conclusão prática principal é que a latência deixa de ser um argumento contra essa classe de modelos. Oito passos por imagem e 64 para compreensão já se aproximam mais de cenários interativos do que centenas de passagens. Os maiores beneficiados são aplicações em que um mesmo modelo precisa tanto desenhar quanto descrever: assistentes, editores de imagem e ferramentas de e-commerce.

As ressalvas são as habituais de um preprint. Os resultados não passaram por revisão por pares e foram medidos pelos próprios autores em benchmarks escolhidos por eles. Os valores absolutos no MM-Vet continuam modestos. O resumo não diz nada sobre a abertura de código e pesos. Antes de levar o método para produção, é preciso esperar a reprodução em outros modelos e a validação em cargas de trabalho reais.