Un LLM pour la reconnaissance vocale : l'architecture de Nvidia adaptée au russe

Depuis quelques années, les technologies de reconnaissance automatique de la parole (ASR) connaissent un véritable changement de paradigme. Aux architectures classiques, qui reposaient sur des composants acoustiques et linguistiques distincts, succèdent des solutions hybrides dans lesquelles un grand modèle de langage (LLM) joue le rôle de décodeur intelligent. Nvidia est à l'avant-garde de ce mouvement avec son architecture SALM.

De leur côté, les ingénieurs de l'équipe des technologies vocales de Kontur se sont attaqués à une tâche ambitieuse : adapter ce modèle SOTA aux spécificités de la parole spontanée en russe, dans des conditions d'usage professionnel réelles. À l'heure où la précision de la reconnaissance frôle déjà la limite de la perception humaine, la concurrence se déplace vers la compréhension fine du contexte et le traitement des conditions audio difficiles de la téléphonie et des visioconférences.

Pendant longtemps, le développement des systèmes ASR a consisté à perfectionner les modèles acoustiques, tels que CTC ou RNN-T. Mais avec l'essor fulgurant des transformeurs et des modèles de type GPT, il est devenu évident que la qualité de la transcription pouvait être radicalement améliorée si le système ne se contentait pas de faire correspondre des sons à des lettres, mais comprenait le sens de ce qui est dit. L'arrivée du modèle Canary-Qwen-2.

5B, fondé sur l'architecture Speech Augmented Language Model (SALM), a marqué une étape importante pour la communauté Open Source. Cette architecture ne se borne pas à convertir l'audio en texte : elle exploite le potentiel linguistique du LLM pour corriger les erreurs, prédire la fin des phrases et gérer une syntaxe complexe. Pour le russe, avec sa morphologie riche et son ordre des mots libre, cette approche ouvre des possibilités auparavant hors de portée des systèmes traditionnels.

Le principe technique de SALM consiste à relier sans couture un encodeur vocal et un modèle de langage au moyen d'un adaptateur entraînable, ou projecteur. L'encodeur extrait des caractéristiques de haut niveau du signal audio et transforme l'onde sonore en une séquence de vecteurs, qui sont ensuite transmis en entrée au LLM sous forme de soft prompts. Dans le cas de Canary-Qwen-2.

5B, c'est le modèle de langage Qwen qui joue le rôle de « cerveau » du système : il apprend à interpréter ces caractéristiques et à générer un texte cohérent. Les développeurs russes ont dû relever un défi sérieux : adapter cette puissance à la parole spontanée, truffée d'interjections, de répétitions et de phrases hachées. La situation était compliquée par un problème classique du secteur : le manque de dizaines de milliers d'heures de données annotées manuellement avec précision.

Pour le résoudre, il a fallu un réglage fin sur des échantillons spécifiques issus des domaines de la téléphonie et des réunions d'entreprise, où chaque pourcent de réduction du Word Error Rate (WER) se gagne de haute lutte, entre bruit de fond et connexions instables.

L'intégration de décodeurs LLM dans les processus de reconnaissance vocale a de profondes conséquences pour toute l'industrie de l'analytique métier. Une transcription de haute qualité n'est pas une fin en soi : c'est le socle indispensable du traitement des données en aval. Une reconnaissance précise est cruciale pour la génération automatique de comptes rendus de réunion dans des services de visioconférence comme Kontur.

Talk, ou pour l'analyse approfondie de la qualité des échanges dans les équipes commerciales. Lorsque le système comprend le contexte, il commet nettement moins d'erreurs de sens, qui pourraient altérer le contenu d'accords commerciaux lors de la synthèse automatique du texte. En même temps, l'usage de modèles de plusieurs milliards de paramètres pose de nouvelles questions d'optimisation aux ingénieurs.

Les exigences élevées en matière de puissance de calcul obligent à chercher un équilibre entre une précision exceptionnelle et la vitesse du système, afin de traiter des millions d'appels en temps réel.

L'expérience d'adaptation de l'architecture de pointe de Nvidia aux besoins du marché russe confirme que l'avenir des technologies vocales passe par une intégration poussée des modèles audio et linguistiques. Le recours aux LLM comme décodeurs permet de franchir le « plafond de verre » de la précision, qui a longtemps freiné le développement des systèmes de transcription et d'analytique automatiques. Le déploiement réussi de Canary dans l'infrastructure d'un grand acteur technologique montre que la localisation d'innovations mondiales pour des tâches linguistiques et sectorielles précises peut produire des résultats de niveau mondial.

Aujourd'hui, l'avantage concurrentiel revient à ceux qui savent non seulement entraîner des réseaux de neurones, mais aussi régler avec finesse des architectures très complexes pour les réalités de la parole humaine vivante.