Google DeepMind abre DiffusionGemma, un modelo MoE de 26B que genera texto hasta 4 veces más rápido

Google DeepMind ha lanzado DiffusionGemma, un modelo de lenguaje abierto y experimental de 26.000 millones de parámetros que usa difusión de texto en lugar de la generación autorregresiva habitual. En GPU funciona hasta cuatro veces más rápido que los enfoques estándar.

Qué es la difusión de texto

La mayoría de los modelos de lenguaje actuales generan texto token a token, de izquierda a derecha. Así funcionan GPT-4, Gemini, Llama y prácticamente todos los grandes LLM. Es un método fiable y bien estudiado, pero tiene una limitación fundamental: el tiempo de inferencia depende linealmente de la longitud de la respuesta. Cuanto más largo es el texto, más se espera y mayor es el gasto en GPU.

DiffusionGemma funciona de otra manera. El modelo parte de una salida ruidosa o enmascarada y la refina de forma iterativa hasta obtener un texto coherente, de forma análoga a cómo modelos de difusión como Stable Diffusion generan imágenes. La diferencia clave con la autorregresión es el paralelismo: en lugar de una secuencia estricta, el decodificador de difusión puede trabajar sobre todo el contexto a la vez. Eso es lo que produce un aumento de velocidad de varias veces en las GPU actuales.

La difusión de texto se investiga desde hace varios años, pero hasta ahora prácticamente no existían modelos abiertos de esta clase a gran escala. DiffusionGemma es uno de los primeros experimentos públicos serios de este tamaño de un gran laboratorio, y solo por eso merece atención.

Arquitectura: 26B con MoE

DiffusionGemma se basa en una arquitectura Mixture of Experts (MoE). A diferencia de los modelos «densos», en los que se usan todos los parámetros en cada consulta, MoE activa solo un subconjunto de bloques de expertos, según los datos de entrada. Esto permite tener un gran número de parámetros con un coste de cómputo de inferencia relativamente bajo.

Características clave del modelo:

• 26B parámetros en total (arquitectura MoE)
• Durante la inferencia solo se activa una parte de los parámetros
• Difusión de texto en lugar de autorregresión
• Hasta 4× de aceleración en la generación en GPU
• Acceso abierto para investigadores
• Estado experimental: no es un lanzamiento de producto

Combinar MoE y difusión es una apuesta arquitectónica nada trivial. MoE reduce la carga por el número de parámetros activos; la difusión, por el número de pasos de generación. En teoría, ambas mejoras se combinan.

Por qué esto cambia el panorama

La velocidad de inferencia es uno de los principales problemas prácticos de los grandes modelos de lenguaje. Para el usuario final, una respuesta larga resulta molesta. Para los proveedores de inferencia, supone un gasto directo en tiempo de GPU que incide de lleno en el coste del servicio.

Las soluciones actuales, como la cuantización, la decodificación especulativa y los kernels optimizados, ofrecen mejoras de alrededor de 1.5–2×. DiffusionGemma afirma lograr 4×, y lo hace con un mecanismo de generación radicalmente distinto. Si esto se reproduce en condiciones reales, se trataría de un cambio de enfoque y no de una optimización.

Google DeepMind publica el modelo en abierto como artefacto de investigación. Esto da a la comunidad académica la posibilidad de estudiar un decodificador de texto por difusión de escala 26B. La pregunta sobre una versión de producto basada en esta arquitectura sigue abierta por ahora.

Qué significa

DiffusionGemma es una señal de que la autorregresión deja de ser el único paradigma viable del modelado del lenguaje. Si el enfoque de difusión escala sin degradar la calidad, la velocidad de respuesta de las herramientas de IA podría multiplicarse sin un aumento proporcional de los costes de infraestructura.

Conviene seguir en los próximos meses cómo la comunidad investiga y evalúa el modelo con benchmarks.