Les réseaux de neurones pour la parole passent à l'échelle comme ceux du texte, selon Apple

Apple ML Research a démontré que les réseaux de neurones pour la parole passent à l'échelle de façon aussi prévisible que les modèles de texte, grâce à une nouvelle métrique, la pJSD, même si les systèmes vocaux restent en retrait des systèmes textuels en qualité.

Pourquoi les modèles de parole sont à la traîne du texte

Les modèles de langage qui travaillent directement sur le son, sans représentation textuelle intermédiaire (les « speech-only SLM »), restent nettement en deçà des systèmes textuels et multimodaux. Cela ressemble à un paradoxe : les interfaces vocales sont demandées, les données audio abondent, mais les progrès sont lents.

L'approche dominante, les SLM autorégressifs discrets (AR SLM), convertit d'abord le signal audio continu en jetons discrets, comme les modèles de texte manipulent des mots. Le problème : la parole est structurée de façon fondamentalement différente de la langue écrite, et la discrétisation perd inévitablement des détails acoustiques porteurs de sens. Pour compenser ces pertes, les modèles AR exigent des ressources de calcul colossales et d'immenses jeux de données d'entraînement, ce qui les rend coûteux et difficiles à faire passer à l'échelle.

Comment la diffusion continue contourne les limites

La diffusion continue (CD) propose une approche radicalement différente : travailler directement sur des représentations continues du signal audio, en évitant totalement la discrétisation. Cela supprime la perte d'information en entrée et pourrait rendre l'entraînement plus efficace.

Une question clé demeurait toutefois : les modèles CD obéissent-ils aux lois d'échelle ? Ce sont elles qui fondent les grands modèles de langage actuels, en prédisant comment la qualité progresse avec le nombre de paramètres et le volume de données. Sans passage à l'échelle prévisible, engager d'importantes ressources dans une architecture est risqué : rien ne garantit un retour sur investissement.

Apple a étudié les deux types de métriques. Principaux enseignements :

• Les CD SLM présentent des lois d'échelle nettes pour la perte sur l'échantillon de validation
• La métrique pJSD (qualité linguistique) diminue de façon prévisible quand le calcul augmente
• Un rapport optimal entre nombre de jetons et nombre de paramètres a été identifié, équivalent vocal de la loi de Chinchilla pour les LLM textuels
• Le comportement des modèles CD à l'échelle est très proche de celui des modèles AR

Pourquoi une nouvelle métrique, la pJSD

Les métriques standard, la perte (loss) en tête, mesurent la fidélité avec laquelle la distribution d'entraînement est reproduite, mais disent peu de choses sur la richesse linguistique de la parole du modèle. Apple a introduit la divergence de Jensen-Shannon sur les phonèmes (phoneme Jensen-Shannon divergence, pJSD).

La métrique calcule l'écart entre la distribution des phonèmes dans la parole générée par le modèle et dans la parole humaine réelle. Plus la valeur est proche de zéro, plus la parole est « humaine » au sens linguistique. Point essentiel : la pJSD s'applique aux deux architectures, AR et CD, ce qui permet de comparer sur une même échelle des approches fondamentalement différentes.

«

Pour évaluer quantitativement la qualité linguistique des modèles de langage de parole, nous introduisons la pJSD, la divergence de Jensen-Shannon au niveau des phonèmes », indique l'article d'Apple ML Research.

Ce que cela signifie

L'étude d'Apple lève une incertitude majeure dans l'IA vocale : la diffusion continue passe à l'échelle de façon prévisible et se compare à l'approche autorégressive. Chercheurs et entreprises disposent ainsi d'un argument pour investir à long terme dans l'architecture CD. Les systèmes d'IA vocale de nouvelle génération pourraient fonctionner sans texte intermédiaire, ce qui pourrait rendre l'interaction vocale plus naturelle et plus économe en calcul.

Qu'est-ce qu'un réseau de neurones pour la parole ?

C'est un modèle de langage qui travaille directement sur le son, sans représentation textuelle intermédiaire : un modèle de langage de parole (speech-only SLM).