DiffusionGemma de Google escribe texto en bloques de 256 tokens a la vez, no de uno en uno

Casi todos los modelos de lenguaje que utiliza funcionan de la misma manera: generan un token, lo añaden al texto, vuelven a procesarlo todo y generan el siguiente. Este enfoque tiene dos problemas conocidos. El primero es que, al ejecutarlo localmente para un solo usuario, el cuello de botella no es el cómputo, sino la memoria. Para producir un token, el modelo carga todos los pesos cada vez, mientras las unidades de cálculo de la GPU permanecen inactivas. El segundo es que lo escrito no se puede reescribir. Si el modelo llega a un callejón sin salida a mitad de una respuesta, ya no puede retroceder.

DiffusionGemma de Google DeepMind intenta resolver ambos problemas a la vez. Es un modelo abierto experimental bajo Apache 2.0, publicado el 10 de junio de 2026. En su interior utiliza la arquitectura Gemma 4 26B: un modelo Mixture-of-Experts con 26.000 millones de parámetros, de los cuales se activan 3.800 millones por token; de ahí el sufijo A4B.

Cómo escribe

El modelo parte de un lienzo de 256 tokens de relleno, esencialmente ruido, y procesa el bloque completo durante varias pasadas. Los tokens en los que tiene confianza ayudan a determinar los demás, y el texto se “revela” gradualmente, como una imagen en Stable Diffusion. Solo que aquí hay palabras en lugar de píxeles.

Si la respuesta supera los 256 tokens, se activa un modo autorregresivo por bloques. El lienzo terminado se fija en la caché KV mediante atención causal convencional y comienza un nuevo lienzo que puede ver todo lo anterior. Dentro del bloque, la atención es bidireccional: cualquier token puede atender a cualquier otro. De ahí surge la principal novedad, la autocorrección. Si disminuye la confianza en un token, el muestreador puede volver a añadirle ruido y permitir que el modelo lo rehaga. Un LLM convencional no puede hacerlo.

El efecto práctico es que el cuello de botella pasa del ancho de banda de la memoria al cómputo. La GPU recibe trabajo realmente paralelo en lugar de esperar entre pasos. Ahí es donde debería aparecer la ventaja de velocidad.

Cómo ejecutarlo

El modelo es multimodal en la entrada: admite texto, imágenes de cualquier tamaño y vídeo, pero no audio. La salida siempre es texto. No se trata de un generador de imágenes con una etiqueta de difusión; la difusión solo se aplica al texto. Admite instrucciones de sistema y un modo thinking configurable, que se activa con enable_thinking=True y muestra el razonamiento en un bloque separado.

En cuanto al hardware, la situación es la siguiente. Para el modelo completo, Google recomienda una tarjeta con más de 60 GB de memoria, como una A100 o H100. La versión cuantizada cabe en 18 GB de VRAM, por lo que puede ejecutarse en una RTX 4090 o 5090.

En software, se necesita transformers 5.11.0 o posterior: las versiones anteriores simplemente no reconocen el modelo. Debe cargarse mediante la clase específica DiffusionGemmaForBlockDiffusion, y no mediante la habitual AutoModelForCausalLM, porque tiene su propio bucle de eliminación de ruido. En lugar de un tokenizador se utiliza AutoProcessor, ya que también procesa imágenes y vídeo. TextDiffusionStreamer permite observar el proceso: imprime el estado del lienzo después de cada paso y muestra cómo el texto se forma a partir del ruido.

Para producción, Google colaboró con el equipo de vLLM para integrar la eliminación iterativa de ruido en el motor estándar. El comando vllm serve admite contextos largos —262144 tokens en el ejemplo— y el muestreador se configura mediante hf-overrides, por ejemplo con entropy_bound.

Qué hacer con él

Conviene dejarlo claro desde el principio: es una versión preliminar para investigación, no un producto terminado, y Google lo dice expresamente. Antes de utilizarlo con clientes, es recomendable leer la política de uso aceptable de Gemma. El material no incluye cifras de aceleración en condiciones reales, por lo que habrá que medir la mejora de latencia en las tareas propias.

Aun así, merece la pena probarlo. Si desarrolla asistentes locales, pipelines con un gran volumen de generaciones cortas o simplemente sigue la evolución de la arquitectura de los LLM, la difusión aplicada al texto se está convirtiendo en una herramienta práctica que puede ejecutarse en una sola GPU para videojuegos. Empiece con TextDiffusionStreamer: cinco minutos observando la eliminación de ruido explican la mecánica mejor que cualquier artículo.