Qwen-Audio-3.1-ASR : 30 langues, 16 dialectes et diarisation dans un seul modèle

Qwen a publié le rapport technique de Qwen-Audio-3.1-ASR, une famille de modèles audio-langage qui prolonge la gamme Qwen-Audio-3.0-ASR. Les paramètres de base n'ont pas changé : 30 langues et 16 dialectes chinois. En revanche, le champ des tâches s'élargit nettement. Le modèle attribue désormais la parole à chaque locuteur avec des horodatages, et répond à des questions sur le contenu de l'audio, y compris sur la musique et les bruits ambiants. En pratique, un modèle ASR devient un outil d'analyse audio polyvalent.

Diarisation : garder les locuteurs bien séparés

La mise à jour la plus concrète concerne la transcription avec séparation des locuteurs. Le résultat n'est pas un texte continu, mais une structure : étiquette du locuteur, intervalle de temps, phrase reconnue. Les auteurs insistent sur deux points où ce type de système échoue d'ordinaire.

Le premier est la cohérence des étiquettes d'une réplique à l'autre : le Locuteur 1 du début de l'enregistrement doit rester le Locuteur 1 quarante minutes plus tard. Le second est la parole qui se chevauche, quand deux personnes parlent en même temps. Pour les visioconférences, les interviews et les centres d'appels, c'est le problème de base : si le modèle confond les personnes ou « fusionne » des répliques qui s'interrompent, la transcription perd sa valeur.

Le rapport couvre aussi l'évaluation de ce scénario : les benchmarks sont répartis entre ASR classique, parole multilingue et dialectale, transcription avec diarisation et compréhension générale de l'audio.

Un pilotage par instructions

Le deuxième axe de développement est la possibilité d'ajuster le comportement du modèle par des invites textuelles. La famille conserve trois mécanismes :

• Conditionnement sur le contexte historique. Le modèle tient compte des passages précédents de la conversation, ce qui aide pour les homonymes et les noms propres.
• Hotwords hiérarchiques. Les dictionnaires de termes, de noms et de dénominations peuvent être définis avec des priorités, et non sous forme de liste plate.
• Polissage natif de la transcription. Le modèle supprime lui-même les hésitations, ajoute la ponctuation et met le texte en forme lisible, sans post-traitement séparé.

Point important : tout cela se pilote par instructions, et non par fine-tuning. Pour les entreprises au vocabulaire spécialisé, par exemple médical, juridique ou financier, cette approche coûte nettement moins cher que d'entraîner un modèle propre à chaque domaine.

La compréhension générale de l'audio couvre :

• la description de l'audio, de la parole et de la musique (captioning) ;
• la localisation temporelle et la détection d'événements sonores ;
• les réponses à des questions sur l'audio ;
• les questions à choix multiples nécessitant un raisonnement.

Cela déplace le champ d'application de « ce qui a été dit » vers « qui l'a dit, ce qui sonnait autour et à quel moment ».

Quatre modes pour des usages différents

La famille se décline en variantes adaptées à différentes conditions de déploiement : transcription asynchrone de fichiers, streaming à faible latence, saisie vocale interactive et reconnaissance hors streaming. La diarisation et la compréhension générale de l'audio ne sont pas disponibles dans toutes les variantes, seulement dans certaines. C'est logique : un streaming à latence minimale et l'analyse approfondie d'un long enregistrement exigent des compromis différents entre vitesse et qualité.

Qui en profitera en premier

Les principaux bénéficiaires sont ceux qui traitent de longs enregistrements en plusieurs langues : services de transcription de réunions, médias disposant d'archives d'interviews, centres de contact et plateformes de contenu vidéo. Un seul point d'entrée API, à la place d'un assemblage composé d'un moteur de reconnaissance, d'un module de diarisation et d'un modèle distinct pour l'analyse sonore, simplifie l'architecture et réduit le nombre de points de défaillance.

Le support de 16 dialectes chinois rend la famille particulièrement intéressante pour le marché chinois et les diasporas, où les systèmes ASR standard gèrent sensiblement moins bien la parole régionale. Pour les développeurs d'interfaces vocales, la variante à faible latence avec saisie interactive répond au cas d'usage des assistants.

Avant de déployer, mieux vaut vérifier chaque variante : la diarisation n'est pas présente partout. Il vaut mieux tester sur ses propres enregistrements, avec interruptions et bruit, c'est-à-dire là où ces modèles s'écartent généralement de la qualité annoncée.