DiffusionGemma, do Google, escreve texto em blocos de 256 tokens de uma só vez, e não um por um

Quase todos os modelos de linguagem que você usa funcionam da mesma forma: geram um token, acrescentam-no ao texto, processam tudo novamente e geram o próximo. Essa abordagem tem dois problemas conhecidos. O primeiro é que, na execução local para um único usuário, o gargalo não está na computação, mas na memória. Para gerar um token, o modelo carrega todos os pesos a cada vez, enquanto as unidades de processamento da GPU ficam ociosas. O segundo é que aquilo que já foi escrito não pode ser reescrito. Se o modelo entrar em um beco sem saída no meio da resposta, ele não consegue mais voltar atrás.

O DiffusionGemma, do Google DeepMind, tenta resolver os dois problemas de uma só vez. Trata-se de um modelo aberto experimental sob a licença Apache 2.0, lançado em 10 de junho de 2026. Por baixo do capô está a arquitetura Gemma 4 26B: um modelo Mixture-of-Experts com 26 bilhões de parâmetros, dos quais 3,8 bilhões são ativados por token — daí o sufixo A4B.

Como ele escreve

O modelo parte de uma tela com 256 tokens de preenchimento — essencialmente ruído — e processa o bloco inteiro ao longo de várias passagens. Os tokens nos quais ele tem confiança ajudam a definir os demais, e o texto vai sendo “revelado” gradualmente, como uma imagem no Stable Diffusion. Só que, aqui, há palavras no lugar de pixels.

Se a resposta tiver mais de 256 tokens, o modelo entra em um modo autorregressivo por blocos. A tela concluída é armazenada no cache KV com atenção causal convencional, e uma nova tela é iniciada com acesso a tudo o que veio antes. Dentro do bloco, a atenção é bidirecional: qualquer token pode observar qualquer outro. É daí que surge a principal novidade, a autocorreção. Se a confiança em um token cair, o amostrador pode adicionar ruído a ele novamente e deixar o modelo refazê-lo. Um LLM convencional não consegue fazer isso.

Na prática, o gargalo sai da largura de banda da memória e passa para a computação. A GPU recebe trabalho realmente paralelo, em vez de ficar esperando entre as etapas. É justamente daí que deve vir o ganho de velocidade.

Como executar

O modelo é multimodal na entrada: aceita texto, imagens de qualquer tamanho e vídeo, mas não áudio. A saída é sempre textual. Ele não é um gerador de imagens com um rótulo de difusão; a difusão é aplicada somente ao texto. Há suporte a instruções de sistema e a um modo thinking configurável, ativado com enable_thinking=True, que exibe o raciocínio em um bloco separado.

Quanto ao hardware, o cenário é o seguinte. Para o modelo completo, o Google recomenda uma placa com mais de 60 GB de memória, como uma A100 ou H100. A versão quantizada cabe em 18 GB de VRAM, portanto pode ser executada em uma RTX 4090 ou 5090.

No software, é necessário usar transformers 5.11.0 ou uma versão mais recente: versões anteriores simplesmente não reconhecem o modelo. Ele precisa ser carregado pela classe específica DiffusionGemmaForBlockDiffusion, e não pela habitual AutoModelForCausalLM, porque possui seu próprio ciclo de remoção de ruído. Em vez de um tokenizador, usa-se AutoProcessor, já que o modelo também processa imagens e vídeo. O TextDiffusionStreamer permite acompanhar o processo: ele imprime o estado da tela depois de cada etapa, mostrando o texto se formando a partir do ruído.

Para uso em produção, o Google trabalhou com a equipe do vLLM para incorporar a remoção iterativa de ruído ao mecanismo padrão. O comando vllm serve oferece suporte a contexto longo — 262144 tokens no exemplo — e o amostrador é configurado por meio de hf-overrides, por exemplo com entropy_bound.

O que fazer com ele

Uma ressalva desde já: esta é uma prévia para pesquisa, não um produto pronto, e o Google afirma isso explicitamente. Antes de usá-lo com clientes, vale a pena ler a política de uso aceitável do Gemma. O material não apresenta números de aceleração em condições reais, portanto o ganho de latência terá de ser medido nas suas próprias tarefas.

Ainda assim, vale a pena experimentar. Se você desenvolve assistentes locais, pipelines com um grande volume de gerações curtas ou simplesmente acompanha os rumos da arquitetura dos LLMs, a difusão aplicada a texto está se tornando uma ferramenta prática que pode rodar em uma única GPU para jogos. Comece pelo TextDiffusionStreamer: cinco minutos observando a remoção de ruído explicam a mecânica melhor do que qualquer artigo.