Zyphra publie le premier modèle de diffusion MoE, avec une accélération de 7.7x

Zyphra a publié ZAYA1-8B-Diffusion-Preview, le premier modèle de diffusion MoE qu'il a été possible de convertir à partir d'un modèle de langage autorégressif. Le modèle montre qu'une telle conversion est possible sans perte de qualité, tandis que l'inférence est accélérée de 7.7x, un bond significatif en matière de performances.

Ce qui s'est passé

Les modèles de langage fonctionnent généralement en mode autorégressif : ils génèrent les mots l'un après l'autre. C'est lent, car chaque étape dépend de la précédente et le traitement ne peut pas être parallélisé.

Zyphra a converti ZAYA, un modèle MoE (Mixture of Experts) qui sélectionne différents sous-réseaux de neurones selon les données d'entrée, en modèle de diffusion discrète. En diffusion, la logique de génération est tout autre : le modèle part d'une représentation bruitée et la nettoie progressivement, en traitant en parallèle plusieurs couches de calcul.

L'idée n'est pas nouvelle, puisque la diffusion fonctionne bien pour les images et le texte. Mais convertir une architecture MoE du paradigme autorégressif vers la diffusion tout en préservant la qualité, les tentatives précédentes n'y étaient pas parvenues aussi proprement.

Pourquoi c'est plus rapide

La clé tient à la ressource du GPU que sollicite chaque mode. Deux notions comptent ici :

• Tâches limitées par la bande passante mémoire (memory-bandwidth bound) : elles lisent beaucoup de données en mémoire et en traitent peu. La génération autorégressive en est l'exemple classique : on conserve tout le contexte, on le recharge à chaque token, on ajoute le nouveau token et on génère le suivant
• Tâches limitées par le calcul (compute-bound) : elles lisent les données une fois et les traitent de nombreuses fois. La diffusion enchaîne plusieurs itérations de nettoyage sur le même tenseur, et chaque itération exige un passage complet dans le réseau de neurones
• Architecture des GPU : les GPU modernes progressent plus vite en FLOPS (puissance de calcul) qu'en bande passante mémoire. Les cœurs de calcul sont nombreux, mais ils attendent souvent que la mémoire leur fournisse les données

Le passage de ZAYA de memory-bound à compute-bound signifie que les cœurs de calcul du GPU fonctionnent plus près de leur charge maximale. D'où l'accélération de 7.7x.

Les métriques tiennent

Zyphra a testé la qualité de la version diffusion face à la ZAYA1-8B autorégressive d'origine. Les scores sont restés au même niveau : le modèle n'a rien perdu de sa capacité à générer du texte, à reconnaître le contexte ni à suivre des instructions. Ce n'est pas évident, car un changement de paradigme fait souvent chuter quelque chose. Ici, non.

Ce résultat signifie que l'approche par diffusion et l'architecture MoE sont compatibles, et que la reconversion ne détruit pas les connaissances accumulées par le modèle pendant l'entraînement.

Ce que cela signifie

Les modèles de diffusion MoE sortent des laboratoires pour devenir des outils pratiques. Pour les entreprises, cela signifie qu'elles peuvent prendre un modèle MoE existant et obtenir une accélération de l'inférence de 7 à 8x sans réentraînement et sans nouveaux GPU.