Le LLM comme décodeur en ASR : Kontur adapte l'architecture SALM de Nvidia à la téléphonie russophone

L'industrie de la reconnaissance vocale (ASR) s'appuie depuis des décennies sur une approche en cascade : un modèle acoustique traduit d'abord le spectrogramme sonore en probabilités de lettres, puis un modèle de langage tente d'en assembler un texte cohérent. Le problème, c'est que le premier composant perd irrémédiablement de l'information acoustique au moment de la discrétisation, et l'erreur s'accumule ensuite dans toute la chaîne. Le modèle acoustique ne connaît pas le contexte et confond souvent les homophones : en russe, « кот » (chat) et « код » (code) se prononcent de façon identique, et sans le sens de la phrase, impossible de distinguer lequel a été prononcé.

L'industrie a tenté de résoudre ce problème de plusieurs manières : décodage intégré (Beam Search combiné à un petit modèle de langage), architectures autorégressives (RNN-T, TDT) entraînées sur des jeux de données ASR limités, et correction d'erreurs via un grand LLM appliqué au texte en sortie — mais tout cela restait dans le cadre de l'approche en cascade. Fin 2024, Nvidia a proposé une architecture fondamentalement différente : SALM (Speech Augmented Language Model), qui a établi un nouveau record sur le classement HuggingFace OpenASR. Cette architecture est à la base du modèle Canary-Qwen-2.5B.

Comment fonctionne SALM : une approche hybride à la place de la cascade

Au lieu d'un pipeline séquentiel, SALM combine encodeur vocal et LLM en un système unique. FastConformer extrait des caractéristiques acoustiques profondes à partir de l'audio brut. Un adaptateur projette ces embeddings dans l'espace des tokens du LLM. Qwen ne perçoit alors pas cela comme des lettres figées, mais comme un prompt souple (soft-prompt) — un flux continu de sens, contournant son vocabulaire habituel. Les poids de base du LLM restent gelés : seuls l'adaptateur et les couches LoRA sont entraînés, ce qui évite l'oubli catastrophique et permet de retirer la LoRA pour réutiliser Qwen séparément sur des tâches purement textuelles.

Kontur a voulu vérifier dans quelle mesure cette architecture fonctionne dans son propre contexte : la téléphonie et la visioconférence en russe, avec un déficit de données annotées. L'encodeur acoustique choisi a été le modèle open source FastConformer, affiné sur leurs propres données. Pour le LLM, deux tailles de Qwen3 ont été testées — 0,6B et 1,7B — et l'équipe a opté pour la version la plus lourde pour la qualité, malgré des besoins en ressources de calcul plus élevés. Un cas d'école classique de transposition d'une technologie SOTA dans un contexte réel avec un budget d'annotation de données limité.

Trois problèmes architecturaux et leurs solutions

Hallucinations sur le padding. Au départ, l'équipe utilisait l'approche de Whisper : une longueur d'audio fixe, les phrases courtes étant complétées par du silence au niveau de la forme d'onde brute. Le modèle commençait alors à générer du texte complètement incohérent pendant ces moments de silence, ce qui dégradait la métrique WER et ralentissait l'inférence. La solution s'est révélée simple : abandonner le padding audio au profit d'un padding classique par tokens en fin de séquence. Les hallucinations ont disparu.

L'écart entre les modalités (modality gap). Le modèle de langage fonctionne avec un vocabulaire figé (disons 100 000 tokens), chacun associé à un vecteur de dimension fixe. L'encodeur acoustique, lui, génère des vecteurs de sa propre dimension, décrivant la phonétique et l'acoustique.

Même si les dimensions coïncident, ce sont des espaces mathématiquement compatibles mais sémantiquement étrangers l'un à l'autre : un vecteur issu de l'encodeur n'est que du bruit pour le LLM tant qu'ils n'ont pas été entraînés ensemble. L'adaptateur doit projeter les caractéristiques audio de façon à ce que le LLM les perçoive comme des soft-prompts natifs. Kontur a testé trois variantes d'adaptateur : un perceptron multicouche (MLP à 2 couches), un ConformerEncoder pour compresser davantage les représentations audio d'un facteur 16 (afin de traiter un contexte plus long), et une projection linéaire (Linear projection).

Le Conformer s'est révélé trop lourd en paramètres, le MLP offrait une précision légèrement meilleure, mais l'écart entre MLP et projection linéaire restait minime — l'équipe a donc finalement retenu l'option la plus simple.

Résultat : un gain de qualité dans le domaine de la téléphonie russophone a été obtenu sans faire de compromis sur l'encodeur acoustique et sans volumes de données massifs. Les enseignements architecturaux ont permis d'éviter les erreurs classiques. Kontur n'est pas encore pressé de déployer cette solution en production, mais considère SALM comme une piste prometteuse pour continuer à améliorer le WER dans des conditions complexes de parole russe spontanée.