ElevenLabs annonce un démarrage de la parole en 150 ms dans sa pile vocale

Un agent vocal paraît souvent convaincant en démo, puis s'effondre lors du premier appel réel. Il coupe la parole au client après une courte pause, confond le numéro de commande, reste longtemps silencieux pendant l'appel au CRM, puis annonce avec assurance que l'opération est effectuée alors que l'API a renvoyé une erreur. La raison est simple : la qualité d'un tel produit ne dépend pas d'un seul modèle de langage, mais de toute la chaîne, du microphone à la réponse.

ElevenLabs a décomposé cette chaîne en neuf couches : reconnaissance vocale, détermination des tours de parole, modèle de langage, orchestration, outils, base de connaissances et mémoire, synthèse vocale, transport et téléphonie, ainsi que mécanismes de protection et supervision. Il s'agit d'un document du fournisseur sur son propre produit, ElevenAgents ; les chiffres et les superlatifs doivent donc être considérés comme des déclarations de l'entreprise, et non comme une comparaison indépendante. Le schéma d'ingénierie reste néanmoins utile : il permet de concevoir et de vérifier un agent vocal, quelle que soit la plateforme choisie.

Pourquoi la latence se compose de plusieurs parties

Prenons un service de prise de rendez-vous en clinique. Le client dit : « Décalez le rendez-vous à vendredi, mais pas entre trois et cinq heures ». Le système doit reconnaître la phrase pendant la conversation, comprendre si la réplique est terminée, retrouver le rendez-vous, vérifier le planning, modifier les données et ne prononcer le résultat qu'après confirmation.

Si l'agent se fie à un simple minuteur de silence, il peut agir après le mot « vendredi » et ne pas entendre la restriction. C'est pourquoi, selon la description de l'entreprise, ElevenAgents prend en compte non seulement le silence, mais aussi les mots, l'intonation et le rythme. En cas d'interruption, le signal d'arrêt de la parole arrive en moins de 200 ms. Pour Eleven v4 Turbo, l'entreprise indique un intervalle médian d'environ 150 ms entre la requête et le premier son audible. Toutefois, dans les mesures de septembre 2026, la latence réseau a été exclue ; on ne peut donc pas transposer directement ce chiffre à un appel réel.

L'accélération vient du travail en parallèle. La reconnaissance est continue, le modèle de langage peut commencer à formuler la réponse avant la confirmation définitive de la fin de la réplique, et la synthèse vocale démarre avant que tout le texte soit terminé. Cela réduit la pause, mais comporte un risque : une réponse spéculative peut s'avérer inutile, augmenter la consommation de tokens ou démarrer trop tôt.

L'orchestration compte plus qu'un seul gros prompt

Au lieu d'un agent universel doté d'une instruction gigantesque, ElevenLabs propose de découper la conversation en nœuds. Un modèle rapide détermine l'intention, un agent spécialisé traite la question de paiement ou de rendez-vous, une étape distincte garantit l'appel d'un outil, et, dans un cas complexe, la conversation est transférée à un humain. Pour chaque nœud, on peut choisir son propre modèle, sa voix, ses outils et sa base de connaissances.

L'intérêt pratique ne réside pas dans l'éditeur visuel en tant que tel. Un scénario découpé est plus simple à tester : on voit à quel nœud les gens abandonnent, combien de temps prend l'opération et selon quelle condition la mauvaise branche est choisie. On peut réserver le modèle coûteux aux décisions complexes et utiliser un modèle bon marché pour le routage et les questions fréquentes.

Les outils exigent la même discipline. L'agent ne doit pas confirmer le report d'un rendez-vous tant que le calendrier n'a pas renvoyé un résultat positif. Pour les connexions MCP, ElevenAgents prend en charge la confirmation obligatoire, l'approbation sélective de certaines fonctions et le fonctionnement sans confirmation. Ce dernier mode est dangereux pour les actions touchant à l'argent, aux données personnelles et aux modifications irréversibles.

Que vérifier avant le lancement

Mesurez d'abord le trajet complet sur un réseau réel : fin de la réplique, reconnaissance, premier token du modèle, exécution de l'outil et premier son. Testez ensuite séparément les longues pauses, les interruptions, les conversations de fond, les noms, les adresses, les numéros et les cas de défaillance des API externes. La latence moyenne est ici presque inutile sans le 95e percentile et la proportion d'appels en échec.

Il faut des modèles de secours et des branches d'erreur explicites, mais la bascule automatique a elle aussi un coût. Dans ElevenAgents, le passage au modèle de secours peut par défaut attendre quatre secondes, ce qui constitue déjà un net décrochage dans une conversation en direct. Les instructions critiques et les formulations juridiques gagnent à être protégées contre l'interruption, et les actions risquées à être confirmées avant exécution.

La conclusion principale : ne choisissez pas une plateforme vocale pour la beauté de sa voix ni sur un seul chiffre de latence. Demandez la ventilation du temps par couche, les conditions de mesure, les journaux d'appels des outils, les scénarios de défaillance et la possibilité de transférer l'appel à un opérateur humain. Ce sont ces détails qui distinguent une démo spectaculaire d'un système à qui l'on peut confier un véritable appel.