Google presenta DiffusionGemma, un modelo que genera texto de otra manera

Google ha lanzado DiffusionGemma, un modelo experimental que adopta un enfoque radicalmente distinto para generar texto frente a los modelos que sustentan los chatbots actuales.

Cómo funcionan ahora los chatbots

Los modelos de IA para texto actuales (GPT, Claude, Gemini) usan la arquitectura de transformador. Su principio es simple: el modelo procesa el texto de izquierda a derecha y predice la siguiente palabra, de una en una. Es como escribir a oscuras: un carácter tras otro, sin posibilidad de rehacer los pasos anteriores.

Este esquema funciona de forma impecable y se ha convertido en el estándar de la industria en los últimos tres años. Pero tiene una limitación inherente: el modelo no puede volver atrás y revisar su decisión. Tras emitir cada token, el contexto avanza solo hacia delante. Si en el token 50 el modelo ya cometió un error, no podrá corregirlo.

El enfoque de difusión de DiffusionGemma

DiffusionGemma usa una lógica completamente distinta: un proceso de difusión que Google tomó de la generación de imágenes. Allí lleva tiempo dando excelentes resultados (DALL-E, Midjourney y Stable Diffusion funcionan precisamente así).

En un modelo de difusión todo ocurre de forma iterativa, no secuencial. El modelo parte de ruido aleatorio en toda la longitud del texto a la vez. En la primera iteración aparecen los contornos burdos del significado. En la segunda se precisan las estructuras sintácticas. En la tercera se añaden detalles estilísticos. Se parece al trabajo de un artista: primero un boceto al carboncillo, luego los colores principales, después las luces y sombras y, por último, las pinceladas finales.

La diferencia clave: en cada paso de la generación por difusión, el modelo puede revisar y corregir todo el texto a la vez, y no solo elegir la siguiente palabra al final.

Por qué es mejor en teoría

A primera vista, el enfoque de transformadores parece más eficiente: ¿para qué hacer varias iteraciones si se puede generar de una sola pasada? Pero las investigaciones muestran algo inesperado. El proceso de difusión da a los modelos dos ventajas fundamentales:

• Reevaluación del contexto — en cada iteración el modelo puede cambiar decisiones que tomó antes
• Paralelismo — el texto se actualiza a lo largo de toda su extensión a la vez, no token a token
• Menos contradicciones internas — el modelo ve el texto completo y puede conciliar lógicamente sus distintas partes
• Un nuevo paradigma de investigación — qué arquitecturas son posibles en PLN es una pregunta abierta

En la práctica, los modelos de difusión pueden ser más rápidos en algunas tareas gracias al paralelismo. En lugar de esperar al token N antes de empezar a refinar las posiciones de N+1 a N+50, el sistema puede mejorarlas todas a la vez.

Estado: laboratorio, no producción

DiffusionGemma no sustituye a ChatGPT. Es un modelo de investigación que Google publicó como código abierto para que la comunidad experimente. De momento sus resultados quedan por detrás de los líderes basados en transformadores en los benchmarks estándar.

Pero es el primer desafío serio al monopolio de la arquitectura de transformadores. Los investigadores de Google señalan que el enfoque de difusión resulta especialmente prometedor para tareas que exigen un procesamiento lógico profundo: inferencia en varios pasos, razonamiento complejo y escritura creativa con coherencia interna.

Qué significa

Google envía una señal clara: el paradigma de que «el transformador es el único camino correcto» es incompleto. Existen arquitecturas alternativas que pueden volverse competitivas e incluso superiores en áreas específicas. El rumbo más probable son los modelos híbridos, que combinen la velocidad del transformador con la capacidad de la difusión para reelaborar la información en profundidad.