Audex-30B : le réseau de neurones de NVIDIA pour l'audio et la parole

Le 7 juillet 2026, NVIDIA a publié Audex-30B, un système unifié pour l'audio et la parole, à architecture Mixture of Experts, qui réunit cinq types de tâches audio dans un seul modèle sans perte significative des capacités textuelles du système de base.

Ce qu'Audex réunit dans un seul modèle

Avant Audex, chaque tâche audio exigeait une solution spécialisée : un système pour la reconnaissance vocale, un autre pour la traduction, un troisième pour la synthèse. NVIDIA les a fusionnés dans une seule architecture MoE :

• Compréhension de contenu audio : analyse du contenu de fichiers sonores
• Reconnaissance automatique de la parole (ASR)
• Traduction de la parole vers une autre langue
• Synthèse vocale : text-to-speech (TTS)
• Génération audio

L'architecture Mixture of Experts permet au modèle de n'activer qu'une partie de ses paramètres selon la tâche. Sur 30 milliards de paramètres au total, environ 3 milliards sont actifs ; d'où le suffixe A3B dans le nom complet. Cette approche réduit la charge de calcul à l'inférence par rapport à un modèle dense de même taille totale.

Pourquoi la conservation des capacités textuelles compte

Ajouter une nouvelle modalité à un modèle de langage déjà entraîné s'accompagne traditionnellement d'un « oubli catastrophique » : les capacités textuelles d'origine se dégradent sous l'effet du nouvel affinage. C'est l'un des principaux défis d'ingénierie dans la conception de systèmes multimodaux.

NVIDIA a construit Audex sur Nemotron-Cascade-2, sa propre base textuelle aux solides performances linguistiques. L'entreprise affirme que la régression sur les benchmarks textuels est restée minimale : les capacités audio ont été ajoutées sans baisse notable de la qualité sur le texte.

L'architecture MoE joue ici un rôle clé : les « experts » audio et textuels du modèle sont en partie isolés les uns des autres, ce qui réduit l'influence mutuelle des modalités pendant l'affinage. Le modèle reste ainsi compétent à la fois sur le texte et sur le son, sans compromis entre les deux domaines.

À qui cela s'adresse

Un modèle multitâche unique simplifie le développement de produits vocaux et multimodaux. Au lieu de maintenir plusieurs systèmes spécialisés, l'équipe travaille avec un seul jeu de poids : il est plus simple à déployer, à mettre à jour et à surveiller. La mise à jour d'un seul modèle améliore les cinq fonctions en même temps.

Les scénarios d'usage potentiels sont vastes : assistants vocaux capables de comprendre le contexte, systèmes de transcription et de traduction en temps réel, plateformes vocales multilingues pour centres d'appels, outils de génération de contenu audio.

Ce que cela signifie

Audex prolonge la tendance aux modèles de fondation multimodaux couvrant l'ensemble des tâches. Là où « audio + texte » signifiait auparavant l'assemblage de plusieurs systèmes spécialisés, NVIDIA propose un seul jeu de poids couvrant tout le spectre des tâches audio tout en préservant la force textuelle du modèle de base.

Que peut faire le réseau de neurones Audex-30B ?

Il réunit cinq types de tâches audio : compréhension de contenu audio, reconnaissance automatique de la parole, synthèse, traduction et un type supplémentaire de traitement du son, le tout dans un seul modèle qui conserve ses capacités textuelles.