ElevenLabs lance Eleven Realtime : un agent vocal dans un seul modèle, 98,8% sur Big Bench Audio

ElevenLabs a lancé Eleven Realtime, une nouvelle classe de modèles speech-to-speech qui regroupent tout un agent vocal dans un seul modèle. Jusqu'ici, le développeur devait choisir séparément la reconnaissance vocale, le détecteur d'activité vocale, la logique de prise de parole, le LLM et la synthèse vocale, puis passer des mois à régler l'ensemble. Deux variantes existent désormais : Eleven Realtime v1 Mini et v1 Max. D'après les tests indépendants d'Artificial Analysis, Max répond correctement à 98,8% des questions vocales de Big Bench Audio et commence à parler en moyenne au bout de 0,57 seconde.

Un seul module au lieu de cinq

L'argument central d'ElevenLabs : un agent vocal naturel est la somme de multiples petites décisions. Combien de temps attendre après une pause avant de répondre. Comment réagir quand l'utilisateur coupe la parole. Comment la voix, le prompt et le modèle s'accordent. Dans l'architecture classique, chacune de ces décisions vit dans un composant distinct, avec ses propres réglages, et les jonctions entre ces composants deviennent la principale source d'artificialité. Les modèles Realtime prennent ce travail à leur charge. Dans la plateforme ElevenAgents, ces mêmes paramètres restent réglables manuellement.

Les deux modèles prennent en charge plus de 90 langues et fonctionnent avec n'importe laquelle des 17 000+ voix de la bibliothèque ElevenLabs.

• Eleven Realtime v1 Mini : des conversations naturelles à bas prix. Il convient aux assistants IA, aux tuteurs et aux personnages interactifs. L'entreprise estime qu'il suffira pour la plupart des scénarios.
• Eleven Realtime v1 Max : les tâches complexes, comme le support client, la qualification de leads et les processus à plusieurs étapes où l'agent doit suivre un règlement et raisonner pas à pas.

Ce que montrent les benchmarks

Les modèles ont été évalués de manière indépendante sur trois tests publics : Big Bench Audio (raisonnement en mode vocal), Full-Duplex-Bench (dynamique du dialogue) et Speech Agent Arena (préférences humaines et taux de réussite des tâches).

• Big Bench Audio, 1000 questions posées à l'oral : v1 Max, 98,8% de réponses correctes ; v1 Mini, 75,9%.
• Délai avant le début de la réponse : v1 Max, 0,57 s ; v1 Mini, 0,62 s.
• Full-Duplex-Bench (pauses, changements de tour de parole, interruptions, interjections d'approbation) : v1 Mini, 95,8% ; v1 Max, 94,1%.
• Speech Agent Arena (comparaison à l'aveugle dans des conversations réelles) : v1 Max, 998 ; v1 Mini, 988.
• Tâches avec appel d'outils : v1 Max en a réussi 87,1%, v1 Mini 60,3%.

ElevenLabs met par ailleurs en avant l'équilibre entre précision et vitesse. En général, les modèles les plus performants sur Big Bench Audio sont aussi les plus lents à répondre, tandis que les plus rapides perdent en précision. Selon le test, Max se situe sur la frontière de Pareto sur les deux axes : il compte à la fois parmi les plus précis et parmi les plus rapides. L'écart le plus net concerne les outils. Si l'agent doit interroger un CRM, réserver des créneaux ou vérifier le statut d'une commande, Mini, avec ses 60,3%, sera un choix faible, et c'est précisément pour cela que l'entreprise recommande Max pour les scénarios à forte intensité d'appels de fonctions.

Migrer depuis l'API OpenAI Realtime

Le geste le plus pragmatique d'ElevenLabs est la compatibilité avec l'API OpenAI Realtime. L'endpoint fonctionne via WebSocket et suit la spécification d'OpenAI : le SDK officiel d'OpenAI s'utilise donc tel quel. L'exemple de la documentation indique l'adresse wss://api.elevenlabs.io/v1/convai/realtime et le modèle eleven_realtime_v1_mini, la voix se choisissant avec un paramètre du type brian. Pour ceux qui ont déjà construit une intégration, tester le nouveau modèle se résume à changer l'adresse et le nom du modèle.

Il y a des limites. L'API Realtime ne fonctionne que via WebSocket : les intégrations basées sur WebRTC devront donc d'abord être migrées vers WebSocket. De plus, l'API fonctionne séparément d'ElevenAgents : elle n'offre ni canaux, ni base de connaissances, ni les autres fonctions de la plateforme.

Par où commencer

Pour une mise en production, l'entreprise recommande de passer par ElevenAgents : créer un agent ou ouvrir un agent existant, puis sélectionner un modèle Realtime dans la liste déroulante. Tout ce qui est nécessaire à l'exploitation vient avec : téléphonie, web, canaux WhatsApp et CCaaS, workflows, base de connaissances, garde-fous (guardrails), tests et monitoring.

Dans la pratique, le choix se présente ainsi. Pour un tuteur vocal, un personnage de jeu ou un assistant simple, mieux vaut commencer par Mini : il prend plus vite l'avantage en naturel du dialogue sur Full-Duplex-Bench et coûte moins cher. Pour un centre de contacts, la qualification de leads et les scénarios à plusieurs étapes avec appel d'outils, il vaut mieux prendre Max. Ceux qui disposent déjà de code pour OpenAI Realtime ont intérêt à lancer un test A/B sur leurs propres dialogues : changer l'endpoint et le modèle, puis comparer la latence et la part de tâches menées à bien. Si l'architecture repose sur WebRTC, prévoyez dès maintenant du temps pour la migration vers WebSocket.