Google DeepMind abre o DiffusionGemma, modelo MoE de 26B que gera texto até 4 vezes mais rápido

O Google DeepMind lançou o DiffusionGemma, um modelo de linguagem aberto e experimental de 26 bilhões de parâmetros que usa difusão de texto em vez da geração autorregressiva tradicional. Em GPUs, ele roda até quatro vezes mais rápido que as abordagens padrão.

O que é difusão de texto

A maioria dos modelos de linguagem atuais gera texto token por token, da esquerda para a direita. É assim que funcionam o GPT-4, o Gemini, o Llama e praticamente todos os grandes LLMs. O método é confiável e bem estudado, mas tem uma limitação fundamental: o tempo de inferência cresce linearmente com o tamanho da resposta. Quanto mais longo o texto, maior a espera e maior o gasto com GPU.

O DiffusionGemma funciona de outro jeito. O modelo parte de uma saída ruidosa ou mascarada e a refina de forma iterativa até surgir um texto coerente, de maneira análoga a como modelos de difusão como o Stable Diffusion geram imagens. A diferença central em relação à autorregressão é o paralelismo: em vez de uma sequência rígida, o decodificador de difusão pode trabalhar sobre todo o contexto de uma vez. É isso que gera um ganho de velocidade de várias vezes nas GPUs modernas.

A difusão de texto é pesquisada há vários anos, mas até agora praticamente não existiam modelos abertos dessa classe em larga escala. O DiffusionGemma é um dos primeiros experimentos públicos sérios dessa escala vindo de um grande laboratório, e só por isso merece atenção.

Arquitetura: 26B com MoE

O DiffusionGemma é construído sobre a arquitetura Mixture of Experts (MoE). Ao contrário dos modelos "densos", em que todos os parâmetros são usados a cada requisição, o MoE ativa apenas um subconjunto de blocos de especialistas, conforme os dados de entrada. Isso permite ter um grande número de parâmetros com custo computacional de inferência relativamente baixo.

Principais características do modelo:

• 26B parâmetros no total (arquitetura MoE)
• Na inferência, apenas parte dos parâmetros é ativada
• Difusão de texto em vez de autorregressão
• Aceleração de até 4× na geração em GPUs
• Acesso aberto para pesquisadores
• Status experimental: não é um lançamento de produto

Combinar MoE e difusão é uma aposta arquitetônica nada trivial. O MoE reduz a carga pelo número de parâmetros ativos; a difusão, pelo número de passos de geração. Em teoria, as duas melhorias se somam.

Por que isso muda o jogo

A velocidade de inferência é um dos principais problemas práticos dos grandes modelos de linguagem. Para o usuário final, uma resposta demorada irrita. Para os provedores de inferência, significa gasto direto com tempo de GPU, que pesa diretamente no custo do serviço.

As soluções atuais, como quantização, decodificação especulativa e kernels otimizados, entregam ganhos na faixa de 1.5–2×. O DiffusionGemma afirma chegar a 4×, e por um mecanismo de geração fundamentalmente diferente. Se isso se reproduzir em condições reais, será uma mudança de abordagem, e não uma otimização.

O Google DeepMind publica o modelo em acesso aberto como artefato de pesquisa. Isso dá à comunidade acadêmica a chance de estudar um decodificador de texto por difusão na escala de 26B. A questão de uma versão de produto baseada nessa arquitetura segue em aberto por ora.

O que isso significa

O DiffusionGemma é um sinal de que a autorregressão deixa de ser o único paradigma viável da modelagem de linguagem. Se a abordagem de difusão escalar sem degradar a qualidade, a velocidade de resposta das ferramentas de IA pode crescer várias vezes, sem aumento proporcional dos custos de infraestrutura.

Vale acompanhar nos próximos meses como a comunidade vai estudar o modelo e avaliá-lo em benchmarks.