ElevenLabs dote ses agents vocaux de mémoire et de routage de modèles : bilan du Summit NYC

Un agent vocal qui coupe la parole au client, l'oublie une minute après l'appel et sollicite un modèle coûteux pour la moindre réplique : tous ceux qui ont bâti un support client sur des LLM connaissent ce problème. Au Summit de New York, le 11 novembre, ElevenLabs a présenté un ensemble de mises à jour qui vise précisément ces points. Une partie est déjà disponible, l'autre est encore en préversion.

Interaction Engine : qui parle et quel modèle réfléchit

Le plus intéressant pour les ingénieurs est Interaction Engine, pour l'instant présenté en préversion. Il gère le rythme du dialogue : quand l'agent doit intervenir et quand il doit se taire si l'humain l'a interrompu. Sa seconde fonction est le choix du LLM pour chaque passage de la conversation. Un modèle bon marché assure le triage et maîtrise la consommation de tokens, tandis qu'un modèle de pointe prend le relais lorsque la tâche se complique.

L'idée n'est pas nouvelle : beaucoup d'équipes assemblent à la main un routeur de plusieurs modèles. Mais si ElevenLabs prend en charge à la fois le timing des répliques et le routage, cela supprimera pour l'équipe toute une couche de code maison. L'entreprise n'a fourni ni benchmarks, ni prix, ni date de sortie : il faudra donc tester sur vos propres appels.

Mémoire et Routines : l'agent se souvient et termine le travail après l'appel

ElevenAgents va recevoir Memory. Après chaque conversation, l'agent la condense en une fiche structurée et la complète lorsque le client revient. Le CRM reste la principale source de vérité, et Memory capture ce pour quoi le CRM n'a pas de champ : préférences, contraintes, motifs. Exemple de la présentation : le client parle espagnol et ne peut échanger qu'après 17 h — l'agent s'en souviendra et en tiendra compte. Un abonné qui a signalé son déménagement en mars n'a pas à le répéter en avril : l'agent proposera de lui-même de transférer le service à la nouvelle adresse et de clore l'ancienne.

Pour le product manager, deux questions se posent : qu'est-ce que l'agent a le droit de mémoriser et comment le client en est-il informé. L'annonce parle d'un client authentifié qui revient, et c'est une limite raisonnable.

Routines est une couche d'automatisation autour de la conversation : des scénarios en plusieurs étapes avant, pendant et après l'appel. Exemples : pré-vérifier un demandeur de prêt immobilier et le rappeler en quelques minutes ; rappeler aux patients leur rendez-vous et proposer un créneau libéré depuis la liste d'attente ; envoyer un rapport par e-mail, enregistrer des données dans le CRM, lancer un appel. Tout cela au sein d'ElevenAgents, sans ensemble distinct de services. Parmi les clients de la plateforme figurent Yahoo, Westgate et KPN.

Fine-tuning, ElevenAI et écosystème

ElevenLabs développe déjà des modèles de reconnaissance vocale sectoriels. Scribe v3 Medical distingue des noms de médicaments proches — la cyclosérine et la ciclosporine, soit un traitement de la tuberculose et un immunosuppresseur. Un modèle pour la finance est promis ensuite.

Nouveauté : « dans les mois à venir », l'entreprise aidera à affiner (fine-tuning) certains modèles de langage ouverts et ses propres modèles vocaux sur les données de déploiements réels. La métrique est choisie par l'entreprise cliente — par exemple le CSAT ou la fiabilité — et les chercheurs d'ElevenLabs aident à l'entraînement. Le CEO Mati Staniszewski a comparé cela à une pile RL propre à chaque entreprise.

Les conditions, les prix et la liste des modèles ne sont pas encore connus.

ElevenAI a été présenté à part : une application « collègue » pour les employés, avec dictée et notes de réunion fondées sur Scribe v3, y compris pour les réunions en présentiel, avec résumés et tâches pour chaque participant. Le consentement des participants est intégré. L'accès anticipé gratuit est ouvert depuis le 11 novembre.

Côté déploiement : le Partner Program (plus de 550 partenaires dans 44 pays, dont Google Cloud, IBM, Deloitte, Genesys), une alliance avec McKinsey et QuantumBlack et un Marketplace d'applications sectorielles. Il sera possible d'y acheter des agents à partir de l'an prochain, au titre du contrat existant avec ElevenLabs. Le partenariat avec NVIDIA est élargi : Nemotron 3.5 Super VL est disponible dans ElevenAgents, 15 MW de capacité Vera Rubin sont ajoutés, et pour la plateforme nationale polonaise e-Health, on prépare un agent vocal local pour la prise de rendez-vous médicaux des patients qui n'ont qu'un téléphone fixe.

Que faire de tout cela

Si vous construisez des agents vocaux, revoyez trois points : où vit la mémoire du client en dehors du CRM, si les modèles sont répartis selon la complexité de l'étape et qui assure le post-traitement de l'appel. Presque tout dans la liste est « bientôt » ou en préversion ; il vaut donc mieux évaluer selon les métriques de vos propres appels (part des transferts vers un humain, CSAT, coût de la conversation) plutôt que d'après la scène.

Enfin, la dépendance envers le fournisseur. Le fine-tuning « avec les chercheurs d'ElevenLabs » et les achats via la marketplace vous lient davantage à une seule plateforme. C'est pratique pour démarrer vite, mais mieux vaut réfléchir à la sortie à l'avance.