Stanford et Together AI apprennent aux LLM à écrire à partir d'un plan : génération jusqu'à 31 fois plus rapide

Une équipe de Stanford et de Together AI propose une méthode de génération de texte qui ne relève ni de l'autorégression ni de la diffusion. Le modèle esquisse d'abord la « table des matières » de sa réponse, puis l'enrichit de détails étape par étape. Selon les auteurs, cette approche permet une accélération jusqu'à 31 fois. L'information vient du média chinois Jiqizhixin.

D'où vient l'idée

La méthode repose sur VAR (Visual Autoregressive Modeling), travail distingué comme meilleur article de NeurIPS 2024. En génération d'images, VAR a abandonné le parcours classique de l'image pixel par pixel ou token par token. Le modèle prédit à la place « l'échelle suivante » : d'abord une version très grossière de l'image, puis des versions de plus en plus détaillées. Chaque étape affine la précédente, et au sein d'une même échelle, les tokens peuvent être calculés en parallèle.

Les chercheurs de Stanford et les ingénieurs de Together AI ont transposé ce principe au texte. En résumé, il s'agit d'une génération « du haut vers le bas » : d'abord la structure et les idées clés, ensuite les mots concrets.

En quoi cela diffère des schémas habituels

Les LLM actuels écrivent de gauche à droite, token après token. Chaque mot dépend de tous les précédents, ce qui limite sérieusement la vitesse : une passe produit un seul token, quel que soit le nombre de GPU alignés dans la baie. Les modèles de langage à diffusion tentent de contourner cette contrainte. Ils partent de « bruit » ou d'un texte masqué et le clarifient de façon itérative, dans son ensemble. Mais cette voie pose ses propres problèmes de qualité et de contrôle de la longueur des réponses.

La troisième voie décrite par les auteurs emprunte des éléments différents aux deux schémas. Comme en autorégression, le processus suit un ordre précis, mais il progresse par niveaux de détail et non par positions dans la ligne. Comme en diffusion, de nombreux tokens sont mis à jour à chaque étape. D'où le gain de vitesse annoncé.

La présence de Together AI est ici révélatrice. L'entreprise gagne sa vie avec l'inférence de modèles ouverts, et chaque passe économisée dans le modèle se traduit pour elle en argent. Aujourd'hui, l'accélération de la génération se heurte non pas au nombre de FLOPS, mais à la nature séquentielle du décodage.

Paramètres clés

• Auteurs : Stanford University et Together AI
• Idée de départ : la « prédiction de l'échelle suivante » de VAR (NeurIPS 2024, meilleur article)
• Principe : d'abord un plan ou une ébauche grossière du texte, puis un affinage par niveaux
• Accélération annoncée : jusqu'à 31x
• Positionnement : troisième paradigme, aux côtés de l'autorégression et de la diffusion

Ce qui manque dans l'annonce

D'après le fragment de publication disponible, plusieurs points dont dépend toute l'évaluation restent flous. La base de comparaison du gain de 31x n'est pas précisée. Comparer à une génération token par token classique, sans optimisation, n'a rien à voir avec une comparaison face à une inférence moderne reposant sur le décodage spéculatif et le batching. Aucune donnée n'est fournie sur la taille des modèles, la longueur des textes ni la qualité sur les benchmarks standards. Le chiffre « jusqu'à 31 fois » se lit comme un meilleur cas, et non comme un cas typique.

Une question d'architecture se pose aussi. Pour l'image, les échelles viennent naturellement : une version réduite d'une image reste une image. Le texte n'a pas de « résolution grossière », et la manière dont les auteurs définissent les niveaux du plan constitue le principal point à vérifier.

Ce que les praticiens doivent vérifier

Pour l'instant, il s'agit d'un travail de recherche et non d'un produit, et il est trop tôt pour s'y appuyer en production. Mais cela vaut la peine de suivre le sujet. Quand l'article sortira avec son code, trois points mériteront un examen : la qualité sur les tâches de raisonnement long et de code, où une erreur dans le plan fausse tout le reste ; la stabilité du suivi des instructions ; et l'accélération réelle sur les mêmes GPU à qualité comparable.

Si le gain se maintient sur des réponses de plusieurs milliers de tokens, les ingénieurs disposeront d'un nouveau levier, en plus de la quantification et du décodage spéculatif. Sinon, il restera une expérience curieuse montrant que les idées de la vision par ordinateur se transposent plutôt bien au langage.