GLM-5.3 : les endpoints les plus rapides en streaming font attendre 18 à 26 secondes avant le premier token

Quand on choisit un fournisseur pour un modèle, on regarde d'abord la ligne « tokens par seconde ». Plus c'est élevé, mieux c'est. Mais le dernier post d'Artificial Analysis sur GLM-5.3 montre que ce chiffre peut fortement fausser l'expérience réelle de l'utilisateur.

Ce qui a été constaté

Sur les endpoints GLM-5.3 au streaming le plus rapide, le premier token apparaît après 18 à 26 secondes. Chez la plupart des autres fournisseurs, la réponse commence au bout de 1 à 3 secondes. Si l'on ne considère que la vitesse du flux après le démarrage, les premiers apparaissent en tête. Si l'on ajoute l'attente au temps total de la requête, ils reculent dans le classement.

Le post n'explique pas la cause, on en est donc réduit aux hypothèses. Il peut s'agir d'une longue file d'attente, d'un démarrage à froid, d'un lourd prétraitement du prompt ou d'un raisonnement du modèle avant la production de la réponse. Sans données des fournisseurs eux-mêmes, impossible de désigner le coupable avec certitude.

Pourquoi c'est important en pratique

Imaginez un chatbot de support. L'utilisateur envoie sa question et fixe un écran vide. Si la réponse commence au bout de 20 secondes, peu importe que le texte s'écoule ensuite à 300 tokens par seconde. La personne a déjà fermé l'onglet ou cliqué une seconde fois sur « envoyer ».

Il en va de même pour les agents. Chaque étape d'une chaîne ajoute une latence avant le premier token. Sur dix appels consécutifs, l'écart entre 2 et 20 secondes se transforme en minutes d'attente, et non en simple détail.

Pour les produits interactifs, il faut donc surveiller au moins trois métriques :

• le temps jusqu'au premier token (TTFT) ;
• la vitesse de génération après le démarrage ;
• le temps total de la requête pour une longueur de réponse typique.

Que faire

Premièrement : ne choisissez pas un fournisseur sur un seul chiffre de vitesse issu d'un agrégateur. Ouvrez le détail et examinez le TTFT séparément.

Deuxièmement : réalisez vos propres mesures avec vos prompts et à vos heures d'utilisation. La charge des fournisseurs fluctue, alors que les benchmarks publics lissent les résultats.

Troisièmement : si vos réponses sont courtes, le TTFT détermine presque entièrement la sensation de vitesse. Si elles sont longues, la vitesse de streaming compte davantage, mais même alors, un délai de 20 secondes devra être masqué d'une manière ou d'une autre, par exemple avec un indicateur de progression.

Quatrièmement : prévoyez un fallback. Si le premier token n'est pas arrivé au bout de 5 secondes, basculez vers un autre endpoint.

Limites

Il s'agit d'un seul court post, avec 807 vues, sans tableau dans le texte et sans noms de fournisseurs. Nous ne savons pas combien de temps ces délais ont duré ni s'ils se répètent. Il convient de vérifier les conclusions sur les données en direct d'Artificial Analysis et avec vos propres tests.

Mais la leçon est universelle : « streaming rapide » et « réponse rapide » ne sont pas la même chose. Pour l'utilisateur, ce qui compte, c'est le moment où il voit le premier mot, pas la vitesse à laquelle les tokens défilent ensuite.