SEAM apprend de nouveaux mots au TTS sans audio et réduit de 75% les besoins en données

Une équipe de chercheurs propose SEAM (Spectral Embedding Alignment and Merging), une méthode pour ajouter de nouveaux tokens à des modèles TTS conditionnels sans aucun enregistrement audio à l'étape d'initialisation. Sur trois langues et deux architectures de synthèse, elle atteint les performances de référence, ou s'en approche de très près, avec jusqu'à quatre fois moins de données d'entraînement. La complexité d'échantillonnage baisse de 75% par rapport à l'initialisation aléatoire et au moyennage des sous-tokens (mean pooling).

Pourquoi un nouveau mot met en échec la synthèse vocale

Un modèle TTS conditionnel s'appuie sur un vocabulaire de tokens. Chaque token correspond à un embedding, et c'est à partir de ces vecteurs que le décodeur comprend comment le résultat doit sonner. Tant que la langue et le lexique sont couverts par le vocabulaire, tout fonctionne. Dès qu'il faut ajouter de nouveaux tokens, par exemple pour une langue peu dotée, un dialecte, des noms propres ou des termes spécialisés, un problème se pose : il faut bien trouver quelque part le vecteur d'un token que le modèle n'a jamais vu.

La démarche standard consiste à initialiser le vecteur aléatoirement, ou à moyenner les embeddings des sous-tokens qui le composent, puis à affiner le modèle sur des paires annotées « texte — audio ». Pour les langues disposant d'un petit corpus, ce sont précisément ces paires qui constituent le principal goulot d'étranglement. Elles sont rares et coûteuses, et personne ne veut faire enregistrer un locuteur à chaque extension du vocabulaire.

Le moyennage souffre en outre d'une faiblesse plus profonde. La parole est séquentielle : « ка » et « ак » sont faits des mêmes briques, mais ne sonnent pas pareil. Le mean pooling perd cet ordre, et le vecteur obtenu est flou.

Filtre spectral et régression ridge plutôt qu'un fine-tuning à l'aveugle

SEAM procède en deux étapes. D'abord, le nouvel embedding est assemblé à partir de sous-tokens connus, mais pas par simple moyennage : un filtre spectral préserve l'ordre temporel, c'est-à-dire phonétique. Ensuite, il faut « poser » le vecteur dans l'espace auquel le modèle pré-entraîné est habitué. Les auteurs utilisent pour cela une régression ridge avec solution en forme close. Il s'agit d'une formule analytique, et non d'une boucle de descente de gradient distincte.

D'où le principal avantage pratique : aucun audio n'est nécessaire à l'étape d'initialisation. Le modèle démarre avec des vecteurs cohérents, situés sur la bonne variété des conditions, et le fine-tuning ne part pas de zéro. Les auteurs qualifient la solution de légère, reproductible et théoriquement fondée.

Paramètres clés du travail :

• Tâche : extension du vocabulaire des modèles TTS conditionnels pour les scénarios à faibles ressources et translingues.
• Initialisation sans audio : les embeddings des nouveaux tokens sont construits à partir de sous-tokens connus.
• Le filtre spectral préserve l'ordre des éléments phonétiques.
• L'alignement sur la variété conditionnelle du modèle pré-entraîné est assuré par une régression ridge en forme close.
• Validation : trois langues et deux architectures TTS.
• Résultat : qualité au niveau de la référence ou proche, avec jusqu'à 4 fois moins de données.
• Baisse de la sample complexity de 75% par rapport à random init et mean pooling.

Qui en profitera en premier

L'économie de données d'un facteur quatre compte moins pour les leaders du marché et leurs corpus gigantesques que pour ceux qui n'ont presque pas d'enregistrements. Il s'agit des équipes qui développent la synthèse vocale pour des langues rares, des interfaces vocales locales, ou des assistants pour des domaines spécifiques au lexique atypique, comme la médecine ou le vocabulaire juridique.

Pour un ingénieur, la méthode présente un autre intérêt : elle ne casse rien dans le pipeline. SEAM s'intègre comme une étape d'initialisation avant le fine-tuning habituel, sans nouvelle architecture ni nouveau jeu de données. La formule d'alignement en forme close est simple à reproduire et peu coûteuse en calcul, ce qui permet de la tester sur son propre modèle en peu de temps.

La conclusion pratique est la suivante : si vous étendez le vocabulaire d'un TTS et dépensez votre budget à collecter des enregistrements appariés, mieux vaut d'abord comparer votre baseline actuelle à une initialisation par sous-tokens avec filtrage spectral. Même si vous n'égalez pas exactement les chiffres de l'article, le potentiel d'économie sur l'annotation et l'enregistrement reste notable. Les résultats des auteurs ont été mesurés sur trois langues et deux architectures ; le transfert à d'autres modèles doit donc être vérifié séparément, et il est judicieux de commencer par la langue qui manque le plus d'audio aujourd'hui.