Qwen-Audio-3.1-ASR: 30 idiomas, 16 dialectos y diarización en un solo modelo

Qwen ha presentado el informe técnico de Qwen-Audio-3.1-ASR, una familia de modelos de audio y lenguaje que continúa la línea Qwen-Audio-3.0-ASR. Los parámetros básicos se mantienen: 30 idiomas y 16 dialectos chinos. En cambio, el abanico de tareas se ha ampliado notablemente. El modelo ahora etiqueta el habla por hablante con timestamps y responde preguntas sobre el contenido del audio, incluidos la música y los sonidos ambientales. En la práctica, un modelo ASR se convierte en un analizador de audio de propósito general.

Diarización: cada hablante en su sitio

La actualización más práctica es la transcripción con separación por hablantes. La salida no es un texto corrido, sino una estructura: etiqueta del hablante, intervalo de tiempo y frase reconocida. Los autores destacan dos puntos en los que suelen fallar estos sistemas. El primero es la coherencia de las etiquetas entre intervenciones: el Hablante 1 del principio de la grabación debe seguir siendo el Hablante 1 cuarenta minutos después. El segundo es el habla superpuesta, cuando dos personas hablan a la vez. En reuniones por videollamada, entrevistas y centros de llamadas, este es un problema básico: si el modelo confunde a las personas o «fusiona» intervenciones que se interrumpen, la transcripción pierde valor.

El informe también evalúa este escenario: los benchmarks se dividen en ASR clásico, habla multilingüe y dialectal, transcripción con diarización y comprensión general del audio.

Control mediante instrucciones

La segunda línea de desarrollo es que el comportamiento del modelo se puede ajustar con indicaciones de texto. La familia conserva tres mecanismos:

• Condicionamiento por contexto histórico. El modelo tiene en cuenta los fragmentos anteriores de la conversación, lo que ayuda con las palabras homónimas y los nombres propios.
• Hotwords jerárquicas. Los glosarios de términos, nombres y denominaciones se pueden definir con prioridades, en lugar de una lista plana.
• Pulido nativo de la transcripción. El propio modelo elimina muletillas, añade la puntuación y deja el texto legible, sin necesidad de un posprocesamiento aparte.

Lo importante es que todo esto se controla mediante instrucciones, no mediante reentrenamiento. Para empresas con un vocabulario especializado, por ejemplo médico, jurídico o financiero, este enfoque resulta bastante más barato que entrenar un modelo propio para cada dominio.

La comprensión general del audio abarca:

• descripción de audio, habla y música (captioning);
• localización temporal y detección de eventos sonoros;
• respuesta a preguntas sobre el audio;
• preguntas de opción múltiple que requieren razonamiento.

Esto desplaza el campo de aplicación de «qué se ha dicho» a «quién lo ha dicho, qué sonaba alrededor y en qué momento».

Cuatro modos para distintos escenarios

La familia se divide en variantes según las condiciones de despliegue: transcripción asíncrona de archivos, streaming de baja latencia, entrada de voz interactiva y reconocimiento sin streaming. La diarización y la comprensión general del audio no están disponibles en todas las variantes, solo en algunas. Tiene lógica: el streaming con latencia mínima y el análisis profundo de una grabación larga exigen compromisos distintos entre velocidad y calidad.

Quién sacará partido primero

Los más beneficiados son quienes trabajan con grabaciones largas en varios idiomas: servicios de transcripción de reuniones, medios con archivos de entrevistas, centros de contacto y plataformas de contenido en vídeo. Un único circuito de API en lugar de combinar un reconocedor, un diarizador y un modelo aparte para analizar el sonido simplifica la arquitectura y reduce los puntos de fallo.

El soporte de 16 dialectos chinos hace que la familia resulte especialmente interesante para el mercado chino y las diásporas, donde los sistemas ASR estándar rinden bastante peor con el habla regional. Para quienes desarrollan interfaces de voz, la variante de baja latencia con entrada interactiva cubre el caso de los asistentes.

Antes de implantarla, conviene comprobar cada variante concreta: la diarización no está en todas. Lo mejor es probar con grabaciones propias que incluyan interrupciones y ruido, que es donde estos modelos suelen quedarse por debajo de la calidad declarada.