Zyphra lanza el primer modelo de difusión MoE, con una aceleración de 7.7x

Zyphra ha lanzado ZAYA1-8B-Diffusion-Preview, el primer modelo de difusión MoE que se ha logrado convertir desde un modelo de lenguaje autorregresivo. El modelo demuestra que esta conversión es posible sin pérdida de calidad, mientras la inferencia se acelera 7.7x, un salto significativo de rendimiento.

Qué ha pasado

Los modelos de lenguaje suelen funcionar de forma autorregresiva: generan las palabras una tras otra. Es lento, porque cada paso depende del anterior y no se puede paralelizar el procesamiento.

Zyphra convirtió ZAYA, un modelo MoE (Mixture of Experts) que elige distintas subredes de neuronas según los datos de entrada, en un modelo de difusión discreta. En la difusión la lógica de generación es muy distinta: el modelo toma una representación ruidosa y la va limpiando paso a paso, procesando en paralelo varias capas de cálculo.

La idea no es nueva, ya que la difusión funciona bien para imágenes y texto. Pero convertir una arquitectura MoE del paradigma autorregresivo al de difusión conservando la calidad es algo que los intentos anteriores no lograron de forma tan limpia.

Por qué es más rápido

La clave está en qué recurso de la GPU usa cada modo. Aquí importan dos conceptos:

• Tareas limitadas por ancho de banda de memoria (memory-bandwidth bound): leen muchos datos de la memoria y procesan poco. La generación autorregresiva es el ejemplo clásico: se mantiene todo el contexto, se vuelve a cargar con cada token, se añade el nuevo token y se genera el siguiente
• Tareas limitadas por cómputo (compute-bound): leen los datos una vez y los procesan muchas veces. La difusión hace varias iteraciones de limpieza sobre el mismo tensor, y cada iteración requiere un pase completo por la red neuronal
• Arquitectura de la GPU: las GPU modernas crecen más rápido en FLOPS (potencia de cálculo) que en ancho de banda de memoria. Hay muchos núcleos de cómputo, pero a menudo esperan a que la memoria les entregue los datos

Que ZAYA pase de memory-bound a compute-bound significa que los núcleos de cómputo de la GPU trabajan más cerca de la carga máxima. De ahí viene la aceleración de 7.7x.

Las métricas se mantienen

Zyphra probó la calidad de la versión de difusión frente a la ZAYA1-8B autorregresiva original. Las puntuaciones se mantuvieron al mismo nivel: el modelo no perdió capacidad para generar texto, reconocer el contexto ni seguir instrucciones. No es algo evidente, porque al cambiar de paradigma suele resentirse algo. Aquí no ocurrió.

El resultado implica que el enfoque de difusión y la arquitectura MoE son compatibles, y que la reconversión no destruye el conocimiento acumulado por el modelo durante el entrenamiento.

Qué significa

Los modelos de difusión MoE salen del laboratorio y se convierten en herramientas prácticas. Para las empresas significa que pueden tomar un modelo MoE existente y obtener una aceleración de la inferencia de 7-8x sin reentrenar y sin GPU nuevas.