Lafa, 8 milliards de paramètres, accélère la génération de texte 2,54 fois sans perte de qualité

Les modèles de langage à flux continu ouvrent une voie radicalement nouvelle vers la génération parallèle de texte. Contrairement aux modèles autorégressifs classiques, qui génèrent les tokens de façon séquentielle, les flux offrent des outils de contrôle et d'accélération hors de portée des approches de diffusion discrète. Mais jusqu'à présent, les méthodes permettant de construire ce type de modèle à l'échelle du milliard de paramètres restaient mal comprises.

Des chercheurs présentent Lafa (Large flow language model), le premier modèle de flux rapide et performant, porté à l'échelle de 8 milliards de paramètres de manière économe en données. Ce travail démontre que la génération en flux peut constituer une alternative concrète à la modélisation autorégressive, à l'échelle industrielle.

Architecture et conception

Lafa s'appuie sur une architecture blockwise flow inédite. Sur le préfixe, une attention causale classique est appliquée (comme dans les transformeurs standards), tandis qu'un flux asynchrone bidirectionnel opère à l'intérieur de chaque bloc. Cette approche hybride atteint deux objectifs critiques à la fois : un entraînement efficace, en adaptant des modèles autorégressifs pré-entraînés, et une inférence rapide, grâce au prefix caching et au décodage parallèle par blocs.

Adapter des modèles AR existants signifie que les chercheurs n'ont pas eu besoin d'entraîner Lafa depuis zéro : ils ont pu réutiliser des poids déjà entraînés, réduisant ainsi considérablement les coûts de calcul.

Entraînement et mise à l'échelle

Les auteurs ont entraîné Lafa en trois tailles : • 0,5B paramètres — une version légère pour les appareils aux ressources limitées • 7B paramètres — une version intermédiaire équilibrant performance et vitesse • 8B paramètres — la version complète pour une qualité maximale

Les trois versions ont été entraînées sur moins de 30 milliards de tokens. À titre de comparaison, les modèles de diffusion classiques nécessitent nettement plus de données. Cette efficacité résout l'un des principaux problèmes des modèles de flux : le coût élevé de l'entraînement.

Évaluation de la qualité et tâches concrètes

Lafa a été évalué de façon systématique sur trois catégories de tâches qui déterminent l'utilité pratique d'un modèle de langage : • Suivi d'instructions — la précision avec laquelle le modèle exécute les consignes de l'utilisateur • Raisonnement — la capacité à déduire logiquement et à résoudre des problèmes mathématiques • Code — la génération, l'analyse et le débogage de code source

Sur l'ensemble de ces tâches, la génération en flux de Lafa égale ou dépasse la qualité des modèles autorégressifs classiques. Le modèle peut en outre être distillé en flow maps — des représentations compactes pour une génération en une ou plusieurs étapes — ouvrant la voie à des variantes encore plus rapides.

Self-speculative decoding : la clé de l'accélération

La découverte centrale des auteurs est que l'entraînement aux flux ne dégrade pas les capacités autorégressives du modèle initial — il les améliore même, via un effet de multi-token prediction. Les chercheurs ont traduit cette idée dans un schéma de self-speculative decoding : les brouillons générés en flux sont vérifiés de façon autorégressive au sein d'un seul et même modèle, sans basculer entre plusieurs modèles distincts.

Le résultat est impressionnant : Lafa atteint une accélération de throughput de 2,54 fois par rapport à un modèle autorégressif standard, pour une qualité comparable. Cette performance dépasse à la fois les méthodes spécialisées de multi-token prediction et les approches de diffusion discrète.

Une portée plus large pour la modélisation du langage

Ces résultats démontrent que les flux continus sont prêts pour un déploiement industriel. Les modèles de flux ne relèvent plus seulement de l'expérimentation : ils peuvent constituer un socle à part entière, scalable, pour la modélisation du langage de demain, en conjuguant la vitesse de la génération parallèle à la qualité des approches autorégressives.