CoSTA compresse les tokens vocaux de Step-Audio 2 mini via BPE : 10K–320K unités ajoutées

Les modèles de dialogue vocal génèrent leur réponse sous la forme de longues séquences de tokens vocaux discrets, chaque token correspondant à une étape d'autorégression. Des chercheurs de l'Institut d'automatisation de l'Académie chinoise des sciences et de l'École d'intelligence artificielle de l'Université de la CAS proposent CoSTA, une méthode pour réduire le nombre de ces étapes sans toucher ni au tokenizer vocal d'origine, ni au décodeur qui transforme les tokens en son. Pour cela, ils ajoutent au vocabulaire de Step-Audio 2 mini de 10K à 320K unités BPE : chacune remplace une paire ou une chaîne fréquente de tokens vocaux voisins.

Le modèle apprend à produire ces unités compressées, qui sont ensuite redéployées de façon déterministe en tokens d'origine avant la synthèse.

Pourquoi les tokens vocaux se compressent bien

Dans la plupart des modèles de dialogue vocal, le même espace de tokens sert à la fois à la génération et à la synthèse. Les séquences deviennent donc longues : les réponses arrivent plus lentement, l'alignement entre texte et parole se complique et la limite de génération s'épuise plus vite. Cela restreint la durée de la conversation et de la réponse prononcée.

L'alternative consiste à utiliser des tokenizers à fréquence de tokens plus faible. Mais une baisse trop agressive de la fréquence dégrade la qualité, et remplacer le tokenizer d'un modèle déjà prêt peut obliger à réentraîner le tokenizer, le décodeur associé et le modèle lui-même. De plus, la génération et la synthèse restent liées à une seule et même représentation.

Les auteurs ont observé que les tokens vocaux contiennent beaucoup de motifs locaux répétitifs, ce qui rend le BPE (byte pair encoding) applicable : les paires voisines fréquentes sont fusionnées en nouvelles unités. La compression est réversible : le redéploiement restitue la séquence d'origine sans perte. L'effet a été testé sur huit configurations de tokenizers, avec de la parole de dialogue en chinois : le vocabulaire BPE a été appris sur la partie d'entraînement, puis figé pour le jeu d'évaluation mis de côté. Plus on ajoute d'unités, plus la séquence raccourcit, et la dépendance est approximativement log-linéaire. Elle se maintient selon les sources de données et les langues.

Comment adapter un modèle existant

CoSTA se compose de trois étapes de post-entraînement. D'abord, on étend le vocabulaire, et l'on initialise les embeddings et les lignes de la tête LM des nouvelles unités avec la moyenne des lignes des tokens d'origine qui composent chaque unité. Ce point de départ est plus stable qu'une initialisation aléatoire, et les paramètres du vocabulaire d'origine restent inchangés.

Vient ensuite l'adaptation de la prononciation sur des données TTS compressées. Step-Audio 2 mini alterne tokens textuels et tokens vocaux ; le BPE ne s'applique donc qu'aux tokens vocaux, les tokens textuels étant laissés intacts. L'entraînement se déroule par phases : lors de la première, sur 50% des données, seuls les embeddings et la tête LM sont ajustés, tous les autres paramètres étant gelés, ce qui calibre les nouvelles lignes du vocabulaire. Lors de la seconde, l'adaptation s'étend au reste du modèle. La dernière étape est l'adaptation au dialogue sur des données compressées au format « parole — parole ».

À l'inférence, seul un module léger et déterministe de redéploiement du BPE s'insère avant le décodeur vocal, qui reste inchangé. Le tokenizer et le décodeur d'origine ne changent pas, de sorte que la compatibilité avec le pipeline existant est préservée.

Ce que montrent les expériences

La méthode a été testée sur deux architectures de modèles de dialogue vocal. Sur Step-Audio 2 mini, CoSTA accélère la génération des tokens vocaux étendus en chinois et en anglais, tout en préservant la qualité des réponses dans les évaluations automatiques et humaines. Il en résulte une latence plus faible pour la réponse complète, un débit plus élevé et des interactions plus longues avec un budget de génération limité. Les coefficients d'accélération précis ne figurent pas dans l'extrait de texte disponible.

La taille du vocabulaire fixe un compromis pratique entre le taux de compression, l'efficacité du décodage et la qualité ; il faut donc l'ajuster. Les expériences sur l'autre architecture ont montré que l'approche se transpose et qu'elle est compatible avec la tokenisation basse fréquence : les deux moyens de raccourcir les séquences peuvent se combiner.

Le code est publié sur GitHub, dans le dépôt yingzhuodeng/CoSTA.