MultiMDM: modelo de linguagem de difusão que gera texto em poucos passos

Pesquisadores apresentaram o MultiMDM (multi-mask diffusion model), um modelo de linguagem de difusão que usa várias máscaras em vez de uma só e, com isso, gera texto em poucos passos sem perder qualidade. O preprint foi publicado no arXiv, na seção cs.CL, em julho de 2026.

Por que a geração em poucos passos emperra

Os masked diffusion models (MDM) convencionais funcionam mal no modo few-step porque todas as suas trajetórias diretas colapsam em um único estado totalmente mascarado. Nesse ponto não resta "entropia residual", em que as abordagens de consistency se apoiam para gerar com poucos passos. Falta ao modelo, simplesmente, onde se agarrar.

A alternativa, a uniform-state diffusion, evita essa degeneração, mas cobra outro preço: fica mais difícil distinguir tokens limpos de ruído. Segundo o arXiv, isso costuma prejudicar tanto a qualidade da geração quanto a eficiência do treinamento. O MultiMDM resolve os dois problemas de uma vez, sem sair do paradigma das máscaras.

A velocidade, aqui, não é detalhe cosmético: quanto menos passos, mais barata e rápida é a inferência. Por isso o modo few-step é essencial para tornar práticos os LLMs de difusão.

O que o MultiMDM propõe

O MultiMDM mantém a estrutura de mascaramento, mas introduz um conjunto de várias máscaras no lugar de uma única. No processo direto (forward), cada token limpo é primeiro empurrado para a máscara que lhe foi atribuída e depois vai sendo gradualmente misturado entre todas as máscaras do conjunto.

Por causa disso, o processo reverso (backward) ganha a capacidade de fazer um "rascunho" (drafting): o modelo primeiro prevê a máscara atribuída e só depois a refina até chegar ao token limpo. É esse movimento em duas etapas que permite trabalhar com poucos passos.

Ao contrário da máscara única dos MDMs clássicos, o conjunto de máscaras deixa ao modelo um "espaço de manobra": justamente a entropia residual que faltava para o modo few-step.

• Modelo: MultiMDM (multi-mask diffusion model), preprint no arXiv (cs.CL), julho de 2026
• Ideia central: várias máscaras em vez de uma, para preservar a estrutura de mascaramento na geração em poucos passos
• O processo backward funciona em dois tempos: primeiro o rascunho (previsão da máscara), depois o refinamento até o token limpo
• Treinamento: ELBO em forma fechada (closed-form), que permite continual training sobre MDMs já pré-treinados
• Destilação: consistency distillation puramente em estado discreto (discrete-state), com shared-Gumbel coupling

Como o modelo é treinado

Os autores derivaram um ELBO em forma fechada, um objetivo de treinamento que dispensa treinar o MultiMDM do zero e permite fazer o treinamento contínuo sobre MDMs pré-treinados já existentes. Isso reduz bastante a barreira de entrada, já que os modelos atuais viram ponto de partida.

O segundo componente é a consistency distillation puramente em estado discreto, com shared-Gumbel coupling, que reduz a entropia pathwise. A destilação serve justamente para "comprimir" a geração de múltiplos passos em poucos passos, preservando a qualidade.

"O

MultiMDM oferece uma base eficiente para a geração em poucos passos de forma fundamentada", diz o resumo do artigo no arXiv.

O que isso significa

Os modelos de linguagem de difusão são a principal alternativa aos modelos autorregressivos tradicionais, que escrevem o texto estritamente token a token. A difusão pode gerar um trecho inteiro de uma vez e refiná-lo em algumas passadas. O MultiMDM é um passo para fazer isso com rapidez e sem queda de qualidade, apoiando-se em modelos já treinados.

Perguntas frequentes

Qual a diferença entre o

MultiMDM e os modelos masked diffusion convencionais?

O MultiMDM usa não uma máscara, mas um conjunto delas. Isso preserva a estrutura de mascaramento e dá ao processo reverso a capacidade de fazer um rascunho (primeiro prever a máscara, depois refinar o token), algo que os MDMs clássicos, com seu único estado totalmente mascarado, não conseguem.

É preciso treinar o MultiMDM do zero?

Não. Segundo o arXiv, o ELBO em forma fechada permite fazer continual training sobre MDMs já pré-treinados, ou seja, usar os modelos existentes como ponto de partida em vez de treinar um modelo novo do zero.