LLM como decodificador en ASR: Kontur adapta la arquitectura SALM de Nvidia para telefonía en ruso

La industria del reconocimiento de voz (ASR) ha dependido durante décadas de un enfoque en cascada: primero, un modelo acústico convierte el espectrograma del sonido en probabilidades de letras; después, un modelo de lenguaje intenta ensamblar eso en un texto coherente. El problema es que el primer componente pierde información acústica de forma irreversible en el momento de la discretización, y el error se va acumulando a lo largo de la cadena. El modelo acústico no tiene contexto y a menudo confunde homófonos: palabras que suenan igual pero tienen significados distintos no se pueden distinguir sin comprender el sentido.

La industria ha intentado resolver este problema de varias formas: decodificación integrada (Beam Search + un modelo de lenguaje pequeño), arquitecturas autorregresivas (RNN-T, TDT) entrenadas con conjuntos de datos ASR escasos, y correcciones de errores mediante un LLM grande aplicado sobre el texto final; pero todo esto seguía dentro del paradigma de la cascada. A finales de 2024, Nvidia propuso una arquitectura fundamentalmente distinta: SALM (Speech Augmented Language Model), que estableció un nuevo récord en el leaderboard de HuggingFace OpenASR. Esta arquitectura se convirtió en la base del modelo Canary-Qwen-2.5B.

Cómo funciona SALM: un enfoque híbrido en lugar de una cascada

En lugar de un pipeline secuencial, SALM combina el encoder de voz y el LLM en un único sistema. FastConformer extrae características acústicas profundas directamente del audio crudo. Un adaptador proyecta esos embeddings al espacio de tokens del LLM. Qwen interpreta esto no como letras rígidas, sino como un soft-prompt: un flujo continuo de significado que evita su vocabulario habitual. Los pesos base del LLM permanecen congelados: solo se entrenan el adaptador y las capas LoRA, lo que evita el olvido catastrófico y permite retirar el LoRA más tarde para usar Qwen por separado en tareas puramente textuales.

Kontur decidió comprobar cómo funciona esta arquitectura en sus condiciones: telefonía y videoconferencias en ruso con escasez de datos etiquetados. El encoder acústico fue el modelo abierto FastConformer, reentrenado con sus propios datos. Para el LLM, probaron dos tamaños de Qwen3 —0.6B y 1.7B— y eligieron el más pesado por calidad, a pesar de los requisitos de cómputo. Fue un caso clásico de llevar tecnología SOTA al mundo real con un presupuesto limitado para etiquetado de datos.

Tres problemas de arquitectura y sus soluciones

Alucinaciones con el padding. Al principio usaron el enfoque de Whisper: longitud de audio fija, con frases cortas rellenadas con silencio a nivel de la forma de onda cruda. El modelo empezaba a generar basura total durante esos momentos de silencio, lo que dañaba la métrica WER y ralentizaba la inferencia. La solución fue sencilla: abandonar el padding de audio y sustituirlo por el padding clásico con tokens al final de la secuencia. Las alucinaciones desaparecieron.

La brecha entre modalidades. Un modelo de lenguaje opera con un vocabulario fijo (digamos, 100.000 tokens), cada uno asociado a un vector de dimensión fija.

El encoder acústico genera vectores de su propia dimensión, que describen fonética y acústica. Aunque las dimensiones coincidan, se trata de espacios matemáticamente compatibles pero semánticamente ajenos: un vector proveniente del encoder es solo ruido para el LLM hasta que ambos se entrenan juntos. El adaptador debe proyectar las características del audio de modo que el LLM las perciba como soft-prompts nativos.

Kontur probó tres variantes de adaptador: un perceptrón multicapa (MLP de 2 capas), un ConformerEncoder para comprimir 16 veces más las representaciones de audio (con el objetivo de manejar contextos más largos), y una proyección lineal. El Conformer resultó demasiado pesado en parámetros; el MLP dio una precisión algo mejor, pero la diferencia entre el MLP y la proyección lineal era mínima, así que optaron por la opción más simple.

Resultado: una mejora de calidad en el dominio de la telefonía en ruso, lograda sin recortar en el encoder acústico y sin volúmenes masivos de datos contrastivos. Los hallazgos arquitectónicos permitieron evitar errores típicos. Kontur todavía no tiene prisa por llevar esto a producción, pero considera que SALM es una dirección prometedora para seguir mejorando el WER en condiciones difíciles de habla espontánea en ruso.