Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Wildberries a réduit de 10,9 à 3,6 s le temps de réponse de son assistant IA grâce à DFlash 2

À chaque message, l'assistant de Wildberries effectue environ 26 appels à un LLM, et l'utilisateur attend toute la chaîne. L'équipe a adopté DFlash 2 : un petit modèle brouillon devine les tokens suivants, et le grand modèle les vérifie en une seule passe. En production, le temps médian de traitement d'un message est tombé de 10,9 à 3,6 s, bien que le décodage ne soit pas le seul élément modifié. Pour les réponses JSON courtes, les brouillons parallèles sont les plus avantageux.

Traité par IA depuis Habr AI ; édité par Hamidun News
Wildberries a réduit de 10,9 à 3,6 s le temps de réponse de son assistant IA grâce à DFlash 2
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Sur le banc d'essai, les meilleures méthodes ont doublé la vitesse d'un tour, et de 1,4 fois à 128 utilisateurs simultanés
Chiffre clé #2EAGLE-3 est plus lent que DFlash de 11 à 23 % : son brouillon est construit token par token
Chiffre clé #3La tête MTP du modèle, affinée sur le domaine, donne ×1,7 à ×1,8 contre ×2

Lorsque vous écrivez à un assistant IA dans une boutique, un seul message déclenche toute une chaîne d'appels à un modèle de langage. Chez Wildberries, l'assistant de l'acheteur en effectue en moyenne environ 26 : il analyse le contexte, extrait les préférences, génère les requêtes de recherche, sélectionne les filtres, et ce n'est qu'ensuite qu'il rédige la réponse. Une partie des appels s'exécute en parallèle, mais l'utilisateur attend la chaîne entière.

Pour réduire cette attente, l'équipe a basculé l'assistant sur le décodage spéculatif. Le principe est simple : un petit modèle brouillon (drafter) devine à l'avance plusieurs tokens suivants, et le grand modèle vérifie cette prédiction en une seule passe. En production, après le passage à la méthode DFlash 2, le temps médian de traitement d'un message est tombé de 10,9 à 3,6 secondes.

Mais Wildberries a d'abord comparé sept méthodes sur un même banc d'essai.

Pourquoi vérifier des prédictions est rentable

La génération de texte par un grand modèle est limitée non par le calcul, mais par la mémoire. Pour produire un seul token, le GPU lit l'ensemble des poids mobilisés, alors qu'il effectue très peu de calcul. Si l'on fournit en entrée huit tokens d'un coup, la passe coûte presque autant : les poids ne sont lus qu'une fois.

Le brouillon propose donc une suite, et le grand modèle accepte le plus long segment correct. Au premier écart, il pose son propre token. Lorsque la vérification est correcte, la distribution des réponses du modèle cible ne change pas. Un mauvais brouillon ne dégrade pas le texte, il devine simplement moins souvent. L'accélération n'est toutefois pas garantie : elle dépend du coût du brouillon et de la vérification, ainsi que de la part de tokens acceptés. Sous forte charge, le gain s'effrite : l'étape se heurte alors au calcul plutôt qu'à la mémoire.

Le profil de cet assistant est atypique. Un appel moyen représente un prompt d'environ 5 000 tokens et une réponse d'environ 45 tokens, le plus souvent un JSON conforme à un schéma. Les réponses sont courtes, mais nombreuses, et elles se trouvent sur le chemin critique. En production, le modèle est un MoE en FP8 à attention hybride : une partie des couches utilise une attention linéaire, l'autre une attention complète classique.

Ce que le banc d'essai a montré

Il est impossible de mesurer en production : l'assistant sollicite des systèmes voisins soumis à des limites strictes en RPS. L'équipe a donc monté un banc isolé, avec le même code, le même modèle et les mêmes options vLLM. Le test a porté sur 449 tours issus de 300 sessions absentes de l'entraînement. On a mesuré le temps d'un tour complet sous charge, et non le nombre de tokens par seconde, car c'est ce que perçoit l'utilisateur. Une même méthode affichait d'un passage à l'autre un écart allant jusqu'à 9 % à faible charge et jusqu'à 4,5 % à 128 utilisateurs. Les auteurs considèrent comme égales les méthodes dont l'écart reste plus faible.

Les résultats sont les suivants :

  • Les meilleures sont les brouillons parallèles DFlash, DSpark et DFlash 2. À faible charge, un tour y est environ deux fois plus rapide ; à 128 utilisateurs simultanés, il l'est 1,4 fois plus. Entre eux, ces méthodes restent dans la marge de bruit.
  • La tête MTP du modèle lui-même, affinée sur le domaine, donne ×1,7 à ×1,8 à faible charge.
  • EAGLE-3 accepte presque autant de tokens par étape que DFlash, mais il est plus lent de 11 à 23 %. Son brouillon se construit séquentiellement, alors qu'un brouillon parallèle est produit en une seule passe.
  • Les brouillons prêts à l'emploi fonctionnent aussi sans entraînement. Sur un modèle ouvert, sa tête MTP et le DFlash public accélèrent un tour de 1,6 à 2 fois à faible charge, et de 1,2 à 1,3 fois à 128 utilisateurs.

Les brouillons ont été entraînés sur les réponses du même modèle que celui utilisé en production : ils devinent la suite de ce modèle précis, et non un texte abstraitement correct. Sur chaque nœud, 6 GPU faisaient tourner les serveurs vLLM avec le grand modèle, et 2 autres GPU entraînaient le brouillon. Le budget pilote représentait 847 000 lignes et 39 millions de tokens de réponses.

Là où la production peut facilement casser

La constatation la plus utile concerne les méthodes sans entraînement. Les approches n-gram et suffix decoding dans vLLM 0.30, appliquées à un modèle hybride à attention linéaire, corrompent les réponses. Les auteurs ont identifié une régularité et mis en place une expérience de contrôle. La cause tient à ce que l'attention linéaire conserve un état unique de taille fixe, dont on ne peut pas retirer de façon exacte et peu coûteuse la contribution des tokens rejetés. Les branches de code correspondant à ces couches sont plus récentes dans vLLM que le chemin du cache KV classique. L'équipe y a trouvé deux limitations : l'une corrompt les réponses, l'autre empêche d'activer la vérification adaptative.

Il faut aussi noter une réserve honnête. La baisse de la médiane de 10,9 à 3,6 s résulte du passage en production, et non d'une expérience contrôlée : le décodage n'était pas le seul élément modifié.

Conclusion pratique pour les équipes disposant de systèmes comparables. Si votre modèle est hybride et tourne sous vLLM, comparez la part de JSON invalides entre la référence et chaque méthode. Une spéculation correcte ne doit pas la modifier. Pour les réponses structurées et courtes, les brouillons parallèles méritent attention. Il vaut mieux entraîner votre propre brouillon ou votre tête MTP sur les réponses de votre propre modèle.

Dossier

Questions clés sur cet article

Pourquoi vérifier des prédictions est rentable?

La génération de texte par un grand modèle est limitée non par le calcul, mais par la mémoire. Pour produire un seul token, le GPU lit l'ensemble des poids mobilisés, alors qu'il effectue très peu de calcul. Si l'on fournit en entrée huit tokens d'un coup, la passe coûte presque autant : les poids ne sont lus qu'une fois. Le brouillon propose donc une suite, et le grand modèle accepte le plus long segment correct. Au premier écart, il pose son propre token.

Que sait-on sur Ce que le banc d'essai a montré ?

Il est impossible de mesurer en production : l'assistant sollicite des systèmes voisins soumis à des limites strictes en RPS. L'équipe a donc monté un banc isolé, avec le même code, le même modèle et les mêmes options vLLM. Le test a porté sur 449 tours issus de 300 sessions absentes de l'entraînement. On a mesuré le temps d'un tour complet sous charge, et non le nombre de tokens par seconde, car c'est ce que perçoit l'utilisateur.

Que sait-on sur Là où la production peut facilement casser ?

La constatation la plus utile concerne les méthodes sans entraînement. Les approches n-gram et suffix decoding dans vLLM 0.30, appliquées à un modèle hybride à attention linéaire, corrompent les réponses. Les auteurs ont identifié une régularité et mis en place une expérience de contrôle. La cause tient à ce que l'attention linéaire conserve un état unique de taille fixe, dont on ne peut pas retirer de façon exacte et peu coûteuse la contribution des tokens rejetés.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…