ElevenLabs Scribe v3 : 27 % d'erreurs en moins dans la transcription de la parole et identification des locuteurs en direct

Tout produit vocal commence par une transcription. Si « quinze » y est devenu « cinquante », l'erreur se propagera jusqu'au résumé, au CRM et au modèle analytique, et la corriger à ce stade coûtera bien plus cher. ElevenLabs a lancé Scribe v3 et Scribe v3 Live, deux modèles de reconnaissance vocale conçus pour le désordre du monde réel : les participants d'une visioconférence se coupent la parole, le client se tait au milieu d'un numéro de téléphone, les deux interlocuteurs parlent dans une langue qui n'est pas la leur.

Ce qui a changé

Scribe v3 est conçu pour l'audio enregistré. Selon l'entreprise, sur 102 langues, il commet 27 % d'erreurs de mots en moins que Scribe v2 et s'est amélioré dans chaque langue testée. L'allemand progresse de 42 %, l'espagnol de 35 %, l'anglais de 23 %, le swahili de 34 %, le tamoul de 29 % et le thaï de 28 %. La diarisation (l'attribution « qui a dit quoi ») est devenue plus précise de 12 % globalement et de 17 % sur les enregistrements comptant trois participants ou plus. C'est précisément sur ce type d'enregistrements que la plupart des modèles échouent.

Scribe v3 Live est la variante en flux continu à faible latence. Il commet 43 % d'erreurs en moins en WER sémantique (qui ne compte comme erreur que ce qui change le sens) que Scribe v2 Realtime. Il y a deux grandes nouveautés. La première est la diarisation en temps réel : 3,1 % d'erreurs sur la partie anglophone du jeu de données propre à l'entreprise, contre 5,9–7,3 % pour d'autres modèles en flux continu. La seconde est une meilleure détection de la fin de réplique.

L'agent vocal classique attend une pause d'une durée donnée. Avec un minuteur court, il coupe la parole à une personne qui réfléchit au milieu d'un numéro de carte. Avec un minuteur long, l'agent paraît lent. Scribe v3 Live prend en compte non seulement le silence, mais aussi le contexte de la conversation : une pause au milieu d'un nombre n'est donc pas considérée comme la fin de la phrase. La même logique fonctionnait déjà dans ElevenAgents ; elle peut désormais être activée via l'API (paramètre commitStrategy avec la valeur turn_prediction).

On dispose aussi de plus de contrôle sur le résultat. Le Keyterm prompting accepte jusqu'à 1000 termes qui seront très probablement prononcés : noms de marques, sigles, jargon. Les nombres peuvent être renvoyés en chiffres ou en lettres.

Les règles de mise en forme se définissent en langage courant, par exemple « écris toutes les dates au format YYYY-MM-DD ». Live a gagné un mode multilingue pour les conversations où la langue change en pleine phrase, par exemple le hindi mêlé d'anglais. Il y a aussi la keyterm library : elle contient des milliers de termes susceptibles d'apparaître, et le modèle n'y puise que s'il entend une correspondance probable.

C'est pratique pour un catalogue de produits ou une liste de médicaments.

Ce que valent quelques pour cent

Les pourcentages des communiqués parlent peu, c'est pourquoi ElevenLabs les convertit en minutes. Une heure de réunion à 150 mots par minute représente environ 9000 mots. La différence entre 4 % et 2 % de WER équivaut à 180 mots erronés, soit trois par minute de parole. La diarisation se mesure en temps : chaque point d'erreur signifie 36 secondes de parole attribuées au mauvais nom.

Le coût d'une erreur dépend du contexte. Dans la transcription d'un podcast, un mot erroné est une coquille. Dans un rapport de résultats, « quinze » entendu comme « cinquante » finira dans le modèle de l'analyste. De plus, les erreurs se concentrent sur les noms, les nombres, les sigles et le jargon, justement là où le résumeur ou l'agent a besoin d'une précision maximale.

Un exemple concret : l'énergéticien néerlandais Eneco (plus de 2 millions de clients) a testé Scribe v3 Live dans son agent vocal sur des appels réels. Les codes postaux néerlandais ont été reconnus du premier coup 40 % plus souvent, et les numéros de maison 15 % plus souvent.

Réserves et marche à suivre

Tous les chiffres sont des mesures d'ElevenLabs elle-même. La précision multilingue a été calculée sur une version interne de FLEURS, c'est-à-dire de la parole lue, courte et propre, très éloignée d'un centre d'appels bruyant. Pour la diarisation, l'entreprise a constitué son propre jeu de données à partir de réunions réelles, d'appels d'agents et de notes vocales dans 16 langues, et promet de l'ouvrir « bientôt ».

Tant qu'il reste fermé, il est impossible de vérifier les résultats de façon indépendante. En outre, les erreurs ont été moyennées à parts égales entre les langues, alors que de nombreuses publications fusionnent tous les clips en une seule métrique ; une comparaison directe avec les chiffres d'autres acteurs n'est donc pas rigoureuse. La diarisation en temps réel ne peut pas non plus être comparée à celle par lots : une autre méthode de calcul a été utilisée.

La conclusion pratique est simple. Si vous utilisez Scribe v2, la migration tient en une ligne : le modèle scribe_v3 ou scribe_v3_live. Mais ne prenez pas les pourcentages pour argent comptant. Prenez 50 à 100 de vos propres enregistrements réels, en particulier avec des nombres, des noms et des changements de langue, et comparez avec votre propre métrique. Les équipes qui exploitent des agents vocaux gagneraient à calculer à l'avance la fréquence à laquelle l'agent coupe la parole et confond les chiffres : c'est là que le gain est le plus visible.

Il y a des avantages pour les entreprises. Par défaut, les données sont traitées aux États-Unis, mais des environnements isolés sont disponibles dans l'UE, en Inde et à Singapour, ainsi que le mode Zero Retention, avec suppression de l'audio et du texte juste après la requête, les certifications SOC 2, ISO 27001 et PCI DSS Level 1, HIPAA avec BAA et le déploiement privé. Pour le secteur de la santé, l'entreprise publie également une variante de Live optimisée pour les conversations médicales.