Mistral presenta la línea Voxtral 3: reconocimiento de 50 idiomas y agentes de voz para el sector corporativo

La compañía francesa Mistral AI ha lanzado la familia de modelos Voxtral 3, diseñada para la creación de agentes de voz integrales en el entorno empresarial. Este lanzamiento reúne tecnologías de reconocimiento automático del habla (STT), síntesis de voz (TTS) y un Voice Agent SDK especializado. La propuesta se centra en reducir la latencia por debajo de los 500 ms y ofrecer la opción de desplegar toda la infraestructura en local o mediante centros de datos ubicados en la Unión Europea. Esto permite a las organizaciones cumplir las exigencias de soberanía de datos sin enviar audio en bruto a proveedores externos estadounidenses.

Arquitectura de reconocimiento y benchmarks

El modelo Voxtral Small Transcribe 3 admite 50 idiomas, incluidas las 24 lenguas oficiales de la UE, así como dialectos asiáticos e indios poco frecuentes. Su arquitectura integra funciones de diarización (identificación de hablantes) y un mecanismo de context biasing, que permite introducir listas de terminología técnica especializada para mejorar la precisión sin necesidad de reentrenar los pesos. En el benchmark multilingüe FLEURS 45, el modelo registró una tasa de error de palabras (WER) media del 4,0–4,1%, situándose por delante de Whisper large-v3 (14,9%), Gemini 3.5 Transcribe (4,5%) y Scribe v2 (4,9%).

Por su parte, la variante compacta Voxtral Mini Transcribe 3, con 4 mil millones de parámetros, está optimizada para reducir al mínimo el coste computacional de la inferencia, con un precio de procesamiento de $0.0035 por minuto de audio. Específicamente orientada a agentes, se ha desarrollado la versión Voxtral Realtime Transcribe 3, que incorpora detección nativa de fin de turno (end-of-turn prediction). El algoritmo analiza de forma simultánea marcadores acústicos y semánticos para que el asistente virtual intervenga sin pausas artificiales, pero sin interrumpir al usuario a mitad de frase.

Síntesis de voz adaptada al contexto

De la generación de voz se encarga Voxtral Mini TTS 3.0, compatible con más de 35 idiomas y 50 dialectos. El modelo evalúa el contexto emocional del prompt de entrada y ajusta automáticamente la prosodia, el ritmo y el énfasis semántico sin exigir el etiquetado manual de expresividad. Los desarrolladores también disponen de la herramienta Pro Voice, capaz de clonar el estilo, el acento y el rango emocional de un locutor a partir de 30 minutos de audio de referencia.

Características clave y métricas de la línea Voxtral 3:

• Precisión de reconocimiento: 4,0% de WER en el benchmark FLEURS 45 y un 94,6% de precisión en la extracción de términos clave con prompting contextual;
• Diarización: 18,4% de cpWER en los corpus mixtos AMI, Switchboard y AISHELL-4;
• Latencia en streaming: inferior a 500 ms en el modo Voxtral Mini Realtime 3;
• Precios: $0.0035 por minuto de transcripción (Mini) y $13 por cada 1 millón de caracteres de síntesis (TTS);
• Infraestructura: API alojada en la UE o despliegue completo on-premise para entornos aislados.

El lanzamiento del SDK con soporte para function calling convierte a Voxtral 3 en una plataforma lista para centros de contacto telefónicos, admisiones hospitalarias y servicios de soporte. En un caso de uso de demostración, el agente no solo transcribió una derivación médica francesa a dermatología, sino que invocó en paralelo la API interna de la clínica, localizó un horario libre y confirmó la cita en inglés. El acceso directo a los pesos para ejecución local proporciona a Mistral una ventaja competitiva relevante en sectores regulados de Europa, donde los requisitos de cumplimiento normativo impiden el uso de APIs de voz en la nube de OpenAI o Google.