LLM comme décodeur en ASR : Kontur adapte l'architecture SALM de Nvidia à la téléphonie russophone

Depuis des décennies, l'industrie de la reconnaissance vocale (ASR) s'appuie sur une approche en cascade : un modèle acoustique convertit d'abord le spectrogramme du son en probabilités de lettres, puis un modèle de langage tente d'en tirer un texte cohérent. Le problème : le premier composant perd irrémédiablement de l'information acoustique au moment de la discrétisation, et l'erreur s'accumule ensuite le long de la chaîne. Le modèle acoustique ignore le contexte et confond souvent les homophones : les mots russes « кот » et « код » se prononcent de la même façon, et sans le sens, impossible de déterminer lequel a été prononcé.

L'industrie a tenté de résoudre ce problème de plusieurs façons : décodage intégré (Beam Search + petit modèle de langage), architectures autorégressives (RNN-T, TDT) entraînées sur des jeux de données ASR pauvres, et correction des erreurs par un grand LLM appliqué au texte. Toutes ces solutions restaient toutefois dans le cadre de la cascade. Fin 2024, Nvidia a proposé une architecture radicalement différente : SALM (Speech Augmented Language Model), qui a établi un nouveau record dans le classement HuggingFace OpenASR. Cette architecture est à la base du modèle Canary-Qwen-2.5B.

Comment fonctionne SALM : une approche hybride plutôt qu'une cascade

Au lieu d'un pipeline séquentiel, SALM combine l'encodeur de parole et le LLM en un système unique. FastConformer extrait des caractéristiques acoustiques profondes de l'audio brut. Un adaptateur projette les embeddings dans l'espace des tokens du LLM. Qwen les perçoit alors non pas comme des lettres rigides, mais comme un prompt souple (soft-prompt), un flux continu de sens qui contourne son vocabulaire. Les poids de base du LLM restent gelés : seuls l'adaptateur et les couches LoRA sont entraînés. Cela évite l'oubli catastrophique et permet de retirer LoRA pour utiliser Qwen seul sur des tâches purement textuelles.

Kontur a voulu vérifier si cette architecture tenait la route dans ses conditions : téléphonie et visioconférence en russe, avec un déficit de données annotées. L'encodeur acoustique est le modèle ouvert FastConformer, affiné sur les données de l'entreprise. Pour le LLM, l'équipe a testé deux tailles de Qwen3, 0.6B et 1.7B, et retenu la plus lourde pour la qualité, malgré les besoins en ressources de calcul. C'est un cas classique de transfert de technologies SOTA vers le monde réel, avec un budget d'annotation limité.

Trois problèmes d'architecture et leurs solutions

Hallucinations sur le padding. L'équipe a d'abord adopté l'approche de Whisper : longueur audio fixe, avec les phrases courtes complétées par du silence au niveau du signal brut (waveform). Sur ces moments de silence, le modèle se mettait à générer du pur charabia, ce qui dégradait la métrique WER et ralentissait l'inférence. La solution s'est révélée simple : abandonner le padding audio au profit du padding classique par tokens en fin de séquence. Les hallucinations ont disparu.

Écart entre modalités (modality gap). Un modèle de langage travaille avec un vocabulaire rigide (disons 100 000 tokens), chacun correspondant à un vecteur de dimension fixe. L'encodeur acoustique génère des vecteurs de sa propre dimension, qui décrivent la phonétique et l'acoustique.

Même quand les tailles coïncident, ces espaces sont mathématiquement compatibles mais sémantiquement étrangers : tant que les deux composants ne sont pas entraînés ensemble, un vecteur de l'encodeur n'est que du bruit pour le LLM. L'adaptateur doit projeter les caractéristiques audio de façon que le LLM les perçoive comme ses propres soft-prompts. Kontur a testé trois variantes d'adaptateur : un perceptron multicouche (MLP à 2 couches), un ConformerEncoder pour compresser davantage les représentations audio, d'un facteur 16 (afin de traiter un contexte plus long), et une projection linéaire (Linear projection).

Le Conformer s'est avéré trop gourmand en paramètres, le MLP offrait une précision légèrement meilleure, mais l'écart entre MLP et Linear projection était minime : l'équipe a finalement retenu l'option la plus simple.

Résultat : le gain de qualité dans le domaine de la téléphonie russophone a été obtenu sans économiser sur l'encodeur acoustique et sans volumes de données contrastifs. Ces enseignements architecturaux ont permis d'éviter les erreurs typiques. Kontur ne se presse pas encore de déployer cette solution en production, mais considère SALM comme une piste prometteuse pour améliorer encore le WER dans les conditions difficiles de la parole russe spontanée.