Routed Sparse Autoencoders : séparer les mots de l'intonation dans la parole, sur WavLM et SPEAR

Les encodeurs de parole auto-supervisés stockent les mots, la voix, les émotions et l'intonation dans un même espace de caractéristiques. Un nouveau travail publié sur arXiv propose Routed Sparse Autoencoders : un autoencodeur parcimonieux à deux routes, l'une linguistique, l'autre paralinguistique. La méthode a été testée sur deux encodeurs gelés, SPEAR et WavLM, et sur deux corpus, LibriSpeech et MSP-Podcast. L'identité du locuteur, les émotions et la prosodie se retrouvent dans la route paralinguistique.

Pourquoi tout est mélangé dans un seul vecteur

Des modèles comme WavLM apprennent sur d'énormes volumes d'audio non annoté. Ils doivent prédire des fragments masqués du signal et retiennent tout ce qui les y aide : phonétique, timbre, débit, coloration émotionnelle. Tout cela s'inscrit dans une seule représentation latente. Pour la reconnaissance vocale, la voix du locuteur relève plutôt du bruit. Pour la vérification du locuteur ou l'analyse des émotions, elle constitue au contraire le cœur de la tâche. On traite généralement ces tâches à partir du même vecteur, et l'information d'un type déborde sur l'autre.

Les auteurs veulent répartir ces facteurs sur des canaux distincts. On pourrait alors retirer de la représentation les données sur l'identité du locuteur sans casser la transcription, ou changer l'émotion sans toucher au sens.

Comment fonctionne la méthode

La base est un autoencodeur parcimonieux TopK : à chaque étape, seules les K caractéristiques les plus fortes restent actives. Les auteurs y ajoutent deux mécanismes. Le premier, route-specific supervision : chaque route reçoit son propre signal d'apprentissage pour son type d'information. Le second, cross-factor adversaries : des composants adverses empêchent la route linguistique de porter des facteurs paralinguistiques, et inversement.

Paramètres clés de l'abstract :

• architecture : autoencodeur parcimonieux TopK à deux routes, linguistique et paralinguistique ;
• entraînement : supervision par route plus adversaires inter-facteurs ;
• encodeurs de base : SPEAR et WavLM, tous deux gelés ;
• facteurs paralinguistiques : identité du locuteur, émotions, prosodie ;
• entraînement sur LibriSpeech, transfert sur MSP-Podcast sans réentraînement côté représentations ;
• validation : sondes indépendantes et interventions dans l'espace des caractéristiques.

Ce que montrent les vérifications

Le résultat principal : l'information linguistique est plus forte dans la route linguistique, tandis que l'identité du locuteur, les émotions et la prosodie se conservent dans la route paralinguistique et sont sensiblement atténuées dans la route linguistique. Les auteurs l'ont mesuré avec des sondes indépendantes, c'est-à-dire des classifieurs qui n'ont pas participé à l'entraînement de l'autoencodeur. Le détail compte : si la séparation se confirme avec des sondes que le modèle « n'a pas vues », elle est peu susceptible d'être ajustée à un critère précis.

La deuxième vérification porte sur le transfert. LibriSpeech est composé de livres lus à voix haute, MSP-Podcast de parole spontanée annotée en émotions. L'organisation des routes apprise sur le premier corpus s'est conservée sur le second. La troisième vérification repose sur des interventions : si l'on échange une route entre deux exemples, c'est bien le facteur substitué qui est transféré, et l'information de la route inchangée est en grande partie conservée. Le « en grande partie » est ici honnête : les auteurs ne revendiquent pas d'isolation complète.

L'abstract ne contient pas de métriques chiffrées ; on ne peut donc pas en évaluer l'ampleur de l'effet. Seuls les tableaux de l'article lui-même montreront l'échelle réelle.

Où cela peut servir

Les applications les plus évidentes :

• anonymisation de la parole : retirer de la représentation les marqueurs d'identité et conserver le contenu ;
• reconnaissance des émotions et de la prosodie sans fuite du sens, ainsi qu'analyse de ce que le modèle encode précisément ;
• conversion contrôlée de la voix et du style : substitution de la route paralinguistique, le sens restant inchangé.

Trois points sont à vérifier avant tout déploiement. Premièrement, « sensiblement réduit » ne veut pas dire « supprimé » : pour la confidentialité, il faut tester avec des attaques plus fortes que les sondes de l'article. Deuxièmement, les deux vérifications ont été menées sur de la parole en anglais ; on ignore comment la méthode se comporte dans d'autres langues et sur des enregistrements bruités. Troisièmement, les expériences portent sur des encodeurs gelés, et la question de l'entraînement end-to-end reste ouverte. Pour les équipes qui construisent des pipelines vocaux, ce travail est utile comme recette de décomposition interprétable des représentations. Il convient d'abord de le reproduire sur ses propres données.