NVIDIA lance Nemotron 3.5 Transcribe : 40 langues et 100 heures d'audio en 3 minutes

NVIDIA a publié Nemotron 3.5 Transcribe, un modèle ouvert de conversion de la parole en texte. Il prend en charge 40 langues, en traduit 31 et sait séparer les interventions des locuteurs dans 13 d'entre elles. Sur environ 34 milliards de paramètres, quelque 4,3 milliards sont activés pour chaque token, ce qui rend le modèle rapide : sur une seule RTX PRO 6000, il a traité 100 heures d'enregistrements en moins de trois minutes. L'entreprise a également mis en ligne le jeu de données Granary v2, qui compte 463 000 heures de parole.

Le russe dispose de l'ensemble des tâches

Pour le russe, tout ce pour quoi NVIDIA a entraîné le modèle est disponible : transcription, traduction, séparation des locuteurs et gestion de la parole mixte, lorsque plusieurs langues s'entremêlent dans un même enregistrement. Ce dernier point compte pour les appels réels, où termes russes et anglais se mélangent, et où les systèmes ASR classiques déraillent souvent.

Le modèle accepte des fichiers allant jusqu'à une heure et place des horodatages mot par mot. On le pilote par des instructions textuelles, par exemple en lui demandant de transcrire un enregistrement et d'identifier chaque locuteur. Il propose aussi un mode de questions sur le contenu audio, mais uniquement en anglais. Il ne traite pas le flux en direct : il est conçu pour des fichiers déjà enregistrés.

Mamba, transformeur et mélange d'experts

L'architecture se compose d'un encodeur vocal et d'un modèle de langage hybride, dans lequel des couches Mamba alternent avec des couches de transformeur, tandis qu'une partie des blocs fonctionne en mélange d'experts. D'où l'écart entre 34 milliards de paramètres au total et 4,3 milliards de paramètres actifs. La mémoire doit accueillir tous les poids, mais le calcul par token correspond à celui d'un modèle nettement plus petit.

Le classement d'Artificial Analysis en témoigne. Nemotron 3.5 Transcribe y affiche 2,8% d'erreurs, exactement comme un concurrent qui nécessite environ six fois plus de paramètres actifs. À qualité égale, le gain se joue donc sur le coût d'inférence.

Les chiffres et le contenu de la publication

• Langues : 40 pour la transcription, 31 pour la traduction, 13 pour la séparation des locuteurs.
• Durée des enregistrements : jusqu'à une heure, avec horodatage mot par mot.
• Paramètres : 34 milliards au total, environ 4,3 milliards actifs par token.
• Composition : un encodeur vocal et un modèle de langage hybride Mamba + transformeur à mélange d'experts.
• Classement ouvert de transcription de Hugging Face : première place parmi les modèles ouverts. Le taux d'erreur moyen par mot s'établit à 5,33% en anglais, 4,62% sur la partie multilingue et 10,98% sur les enregistrements longs.
• Artificial Analysis : 2,8% d'erreurs.
• Vitesse : 100 heures d'audio en moins de trois minutes sur une seule RTX PRO 6000, soit plus de 2000 fois plus vite que le temps réel.
• Licence : OpenMDW-1.1.
• Jeu de données Granary v2 : 463 000 heures de parole, 48 langues, constitué à partir de 16 corpus ouverts.

Le chiffre de 10,98% sur les enregistrements longs montre où des progrès restent possibles. Une heure d'audio avec des voix variées et du bruit produit encore environ deux fois plus d'erreurs que les segments courts.

Le jeu de données mérite une mention à part. NVIDIA a publié les descriptions et le pipeline de traitement, mais l'audio lui-même doit être téléchargé séparément, en respectant les licences des corpus d'origine. En contrepartie, les autres équipes disposent d'une recette toute prête pour constituer un tel ensemble, qu'elles peuvent reproduire ou adapter à leurs propres langues.

À qui s'adresse le modèle et pour quels usages

Le modèle convient au traitement par lots d'archives : enregistrements d'appels, podcasts, cours et entretiens. Pour les sous-titres ou les comptes rendus de réunion, les horodatages mot par mot et l'identification des locuteurs seront utiles. La prise en charge de la parole mixte profite aux équipes russophones, et la licence ouverte permet de tout déployer sur ses propres serveurs, sans envoyer les enregistrements à une API externe.

Les limites sont également claires. Le modèle ne convient ni aux assistants vocaux ni aux sous-titres en direct, faute de streaming. Les questions sur l'audio ne fonctionnent qu'en anglais. Les poids, le rapport technique, la démo et le jeu de données sont déjà disponibles sur Hugging Face : il est donc possible de tester la qualité sur ses propres enregistrements avant d'intégrer le modèle à un produit.