Mistral dévoile Voxtral 3 : reconnaissance vocale en 50 langues et agents vocaux pour l'entreprise

La société française Mistral AI a lancé la famille de modèles Voxtral 3, conçue pour bâtir des agents vocaux complets dans le secteur de l'entreprise. Cette version associe la reconnaissance automatique de la parole (STT), la synthèse vocale (TTS) et un Voice Agent SDK dédié. Mistral met l'accent sur une latence inférieure à 500 ms et sur la possibilité de déployer toute l'infrastructure en local ou via des centres de données situés dans l'Union européenne. Les entreprises peuvent ainsi respecter leurs exigences de souveraineté en matière de protection des données, sans envoyer d'audio brut à des fournisseurs américains tiers.

Architecture de reconnaissance et benchmarks

Voxtral Small Transcribe 3 prend en charge 50 langues, dont les 24 langues officielles de l'UE, ainsi que des langues asiatiques et indiennes peu répandues. Son architecture intègre la diarisation (identification du locuteur) et un mécanisme de context biasing, qui permet de fournir des listes de termes très spécialisés pour améliorer la précision sans réentraîner les poids. Sur le benchmark multilingue FLEURS 45, le modèle affiche un taux d'erreur moyen (WER) de 4,0–4,1 %, devant Whisper large-v3 (14,9 %), Gemini 3.5 Transcribe (4,5 %) et Scribe v2 (4,9 %).

La version compacte Voxtral Mini Transcribe 3, avec 4 milliards de paramètres, est optimisée pour un coût d'inférence minimal : le traitement revient à $0.0035 par minute d'audio. Pour les agents, Mistral a développé une variante, Voxtral Realtime Transcribe 3, dotée d'une détection native de fin de tour de parole (end-of-turn prediction). L'algorithme analyse simultanément des marqueurs acoustiques et sémantiques, afin que l'opérateur virtuel prenne la parole sans pause artificielle, mais sans couper la parole à l'interlocuteur en plein milieu d'une phrase.

Synthèse vocale sensible au contexte

La génération de voix repose sur Voxtral Mini TTS 3.0, qui gère plus de 35 langues et 50 dialectes. Le modèle évalue le contexte émotionnel du prompt d'entrée et ajuste automatiquement la prosodie, le rythme et les accents de sens, sans qu'il soit nécessaire de saisir manuellement des balises d'expressivité. Les développeurs disposent aussi de l'outil Pro Voice, qui permet de cloner le style, l'accent et la palette émotionnelle d'un locuteur à partir de 30 minutes d'audio de référence.

Principales caractéristiques et métriques de la gamme Voxtral 3 :

• Précision de reconnaissance : 4,0 % de WER sur le benchmark FLEURS 45 et 94,6 % de précision dans l'extraction de termes clés avec prompting contextuel ;
• Diarisation : 18,4 % de cpWER sur des corpus mixtes AMI, Switchboard et AISHELL-4 ;
• Latence du traitement en flux continu : moins de 500 ms avec Voxtral Mini Realtime 3 ;
• Tarification : $0.0035 par minute de transcription (Mini) et $13 par million de caractères de synthèse (TTS) ;
• Infrastructure : API hébergée dans l'UE ou déploiement complet on-premise pour les environnements isolés.

Le SDK, qui prend en charge le function calling, fait de Voxtral 3 une plateforme prête à l'emploi pour les centres de contact téléphoniques, les secrétariats médicaux et les services clients. Dans un scénario de démonstration, l'agent ne s'est pas contenté de transcrire une demande en français pour une consultation chez un dermatologue : il a aussi appelé en parallèle l'API interne de la clinique, trouvé un créneau libre et confirmé le rendez-vous en anglais. L'accès direct aux poids pour une exécution locale donne à Mistral un avantage notable dans les secteurs régulés européens, où les exigences de conformité bloquent l'usage des API vocales cloud d'OpenAI ou de Google.