Mistral dévoile la gamme Voxtral 3 : reconnaissance de 50 langues et agents vocaux pour l'enterprise

La pépite française Mistral AI a lancé la famille de modèles Voxtral 3, conçue pour concevoir des agents vocaux complets dans le secteur enterprise. Cette sortie regroupe des technologies de reconnaissance automatique de la parole (STT), de synthèse vocale (TTS) ainsi qu'un Voice Agent SDK dédié. L'accent est mis sur une réduction de la latence sous la barre des 500 ms et sur la possibilité de déployer l'intégralité de l'infrastructure en local ou via des datacenters situés dans l'Union européenne. Cette approche permet aux entreprises de respecter les exigences souveraines en matière de protection des données, sans envoyer de flux audio bruts à des fournisseurs américains tiers.

Архитектура распознавания и бенчмарки

Le modèle Voxtral Small Transcribe 3 prend en charge 50 langues, dont les 24 langues officielles de l'UE ainsi que des dialectes asiatiques et indiens moins répandus. L'architecture intègre des fonctions de diarisation (identification des locuteurs) et un mécanisme de context biasing, qui permet de transmettre des listes de termes ultra-spécialisés pour accroître la précision sans réentraîner les poids du modèle. Sur le benchmark multilingue FLEURS 45, le modèle affiche un taux d'erreur sur les mots (WER) moyen de 4,0–4,1%, devançant Whisper large-v3 (14,9%), Gemini 3.5 Transcribe (4,5%) et Scribe v2 (4,9%).

La version compacte Voxtral Mini Transcribe 3, dotée de 4 milliards de paramètres, est optimisée pour minimiser les coûts d'inférence : le traitement revient à $0.0035 par minute d'audio. Spécialement conçue pour les agents, la variante Voxtral Realtime Transcribe 3 intègre une détection native de fin de réplique (end-of-turn prediction). L'algorithme analyse simultanément les signaux acoustiques et sémantiques afin que l'opérateur virtuel intervienne sans latence artificielle, mais sans couper la parole à son interlocuteur.

Синтез речи с учетом контекста

La génération vocale repose sur Voxtral Mini TTS 3.0, compatible avec plus de 35 langues et 50 dialectes. Le modèle évalue le contexte émotionnel du prompt entrant et ajuste automatiquement la prosodie, le rythme et les accents toniques, sans nécessiter l'ajout manuel de balises d'expressivité. Les développeurs ont également accès à l'outil Pro Voice, qui permet de cloner le style, l'accent et la tessiture émotionnelle d'un intervenant à partir de 30 minutes d'audio de référence.

Caractéristiques clés et métriques de la gamme Voxtral 3 :

• Précision de reconnaissance : 4,0% de WER sur le benchmark FLEURS 45 et 94,6% de précision dans l'extraction de termes clés avec prompting contextuel ;
• Diarisation : 18,4% de cpWER sur les corpus mixtes AMI, Switchboard et AISHELL-4 ;
• Latence de traitement en streaming : moins de 500 ms en mode Voxtral Mini Realtime 3 ;
• Tarification : $0.0035 par minute de transcription (Mini) et $13 par million de caractères générés (TTS) ;
• Infrastructure : API hébergée dans l'UE ou déploiement on-premise complet pour les environnements isolés.

L'arrivée du SDK compatible function calling transforme Voxtral 3 en une plateforme prête à l'emploi pour les centres de contact téléphoniques, les accueils médicaux et les services clients. Lors d'une démonstration, un agent n'a pas seulement transcrit une prescription dermatologique en français : il a simultanément interrogé l'API interne de la clinique, trouvé un créneau disponible et confirmé le rendez-vous en anglais. Cet accès direct aux poids pour une exécution locale offre à Mistral un avantage stratégique majeur dans les secteurs régulés en Europe, où les contraintes de conformité interdisent le recours aux API vocales cloud d'OpenAI ou de Google.