Zyphra lança o primeiro modelo de difusão MoE, com aceleração de 7.7x

A Zyphra lançou o ZAYA1-8B-Diffusion-Preview, o primeiro modelo de difusão MoE que foi possível converter a partir de um modelo de linguagem autorregressivo. O modelo mostra que essa conversão é possível sem perda de qualidade, enquanto a inferência fica 7.7x mais rápida, um salto significativo de desempenho.

O que aconteceu

Modelos de linguagem geralmente funcionam de modo autorregressivo: geram as palavras uma após a outra. Isso é lento, porque cada etapa depende da anterior e o processamento não pode ser paralelizado.

A Zyphra converteu o ZAYA, um modelo MoE (Mixture of Experts) que escolhe diferentes sub-redes de neurônios para diferentes entradas, em um modelo de difusão discreta. Na difusão, a lógica de geração é bem diferente: o modelo pega uma representação ruidosa e a limpa passo a passo, processando em paralelo várias camadas de cálculo.

A ideia não é nova, já que a difusão funciona bem para imagens e texto. Mas converter uma arquitetura MoE do paradigma autorregressivo para o de difusão preservando a qualidade é algo que as tentativas anteriores não conseguiram de forma tão limpa.

Por que fica mais rápido

A chave está em qual recurso da GPU cada modo usa. Dois conceitos importam aqui:

• Tarefas limitadas pela largura de banda de memória (memory-bandwidth bound): leem muitos dados da memória e processam pouco. A geração autorregressiva é o exemplo clássico: mantém-se todo o contexto, recarrega-se a cada token, adiciona-se o novo token e gera-se o próximo
• Tarefas limitadas por computação (compute-bound): leem os dados uma vez e os processam várias vezes. A difusão faz várias iterações de limpeza sobre o mesmo tensor, e cada iteração exige uma passagem completa pela rede neural
• Arquitetura de GPU: as GPUs modernas crescem mais rápido em FLOPS (poder de cálculo) do que em largura de banda de memória. Há muitos núcleos de processamento, mas eles costumam ficar esperando a memória entregar os dados

A mudança do ZAYA de memory-bound para compute-bound significa que os núcleos de processamento da GPU trabalham mais perto da carga máxima. Daí vem a aceleração de 7.7x.

As métricas se mantiveram

A Zyphra testou a qualidade da versão de difusão contra o ZAYA1-8B autorregressivo original. As pontuações ficaram no mesmo nível: o modelo não perdeu capacidade de gerar texto, reconhecer contexto nem seguir instruções. Isso não é óbvio, pois ao trocar de paradigma costuma cair alguma coisa. Aqui, não caiu.

O resultado indica que a abordagem de difusão e a arquitetura MoE são compatíveis, e que a reconversão não destrói o conhecimento acumulado pelo modelo durante o treinamento.

O que isso significa

Os modelos de difusão MoE saem do laboratório e viram ferramentas práticas. Para as empresas, isso significa que é possível pegar um modelo MoE existente e obter uma aceleração de 7-8x na inferência sem retreinar e sem novas GPUs.