LLM para reconocimiento de voz: cómo adaptar la arquitectura de Nvidia al ruso

Las tecnologías de reconocimiento automático de voz (ASR) viven en los últimos años un cambio de paradigma de fondo. Las arquitecturas clásicas, que se apoyaban en componentes acústicos y lingüísticos separados, dejan paso a soluciones híbridas en las que un gran modelo de lenguaje (LLM) actúa como decodificador inteligente. Nvidia, con su arquitectura SALM, ocupa la vanguardia de esta tendencia.

Por su parte, los ingenieros del equipo de tecnologías de voz de Kontur se propusieron una tarea ambiciosa: adaptar este modelo SOTA a las particularidades del habla espontánea rusa en un entorno empresarial real. En un contexto en el que la precisión del reconocimiento ya roza el límite de la percepción humana, la competencia se traslada a la comprensión profunda del contexto y al procesamiento de condiciones de audio complejas, como las de la telefonía y las videoconferencias.

Durante mucho tiempo, el desarrollo de los sistemas ASR avanzó mejorando los modelos acústicos, como CTC o RNN-T. Sin embargo, con el avance arrollador de los transformers y de los modelos tipo GPT quedó claro que la calidad de la transcripción puede mejorar de forma radical si el sistema no se limita a asociar sonidos con letras, sino que entiende el sentido de lo dicho. La aparición del modelo Canary-Qwen-2.

5B, basado en la arquitectura Speech Augmented Language Model (SALM), supuso un hito para la comunidad Open Source. Esta arquitectura no se limita a convertir audio en texto: aprovecha el potencial lingüístico del LLM para corregir errores, predecir finales de frase y manejar sintaxis compleja. Para el ruso, con su rica morfología y su orden de palabras libre, este enfoque abre posibilidades que antes estaban fuera del alcance de los sistemas tradicionales.

La esencia técnica de SALM consiste en conectar sin fisuras un codificador de voz y un modelo de lenguaje mediante un adaptador entrenable, o proyector. El codificador extrae características de alto nivel de la señal de audio y convierte la onda sonora en una secuencia de vectores. Esos vectores se introducen en el LLM como soft prompts.

En Canary-Qwen-2.5B, el «cerebro» del sistema es el modelo de lenguaje Qwen, que aprende a interpretar esas características y a generar texto coherente. Los desarrolladores rusos se enfrentaron a un reto serio: cómo adaptar toda esa potencia a las particularidades del habla espontánea, repleta de interjecciones, repeticiones y frases entrecortadas.

La situación se complicaba por un problema habitual en el sector: la falta de decenas de miles de horas de datos etiquetados a mano con calidad impecable. Resolver la tarea exigió un ajuste fino sobre muestras específicas de los dominios de telefonía y reuniones corporativas, donde cada punto porcentual de reducción del Word Error Rate (WER) se disputa con ruido de fondo y conexiones inestables.

Incorporar decodificadores LLM a los procesos de reconocimiento de voz tiene profundas consecuencias para todo el sector de la analítica de negocio. Una transcripción de alta calidad no es un fin en sí mismo, sino la base necesaria para el procesamiento posterior de los datos. El reconocimiento preciso es crítico para generar automáticamente actas de reuniones en servicios de videoconferencia como Kontur.

Talk, o para analizar en profundidad la calidad de la comunicación en los departamentos de ventas. Cuando el sistema entiende el contexto, comete muchos menos errores de sentido que podrían distorsionar el contenido de los acuerdos comerciales al resumir después el texto. Al mismo tiempo, el uso de modelos con miles de millones de parámetros plantea nuevas cuestiones de optimización a los ingenieros.

Las exigencias de capacidad de cómputo obligan a buscar un equilibrio entre una precisión excepcional y la velocidad del sistema, para poder procesar millones de llamadas en tiempo real.

La experiencia de adaptar la arquitectura de vanguardia de Nvidia a las necesidades del mercado ruso confirma que el futuro de las tecnologías de voz pasa por una integración profunda de modelos de audio y de lenguaje. Usar LLM como decodificadores permite romper el «techo de cristal» de la precisión, que durante mucho tiempo frenó el desarrollo de los sistemas de actas automáticas y de analítica. El caso de éxito de la implantación de Canary en la infraestructura de un gran actor tecnológico demuestra que localizar innovaciones globales para tareas lingüísticas y de dominio concretas puede dar resultados de nivel mundial.

Hoy tiene ventaja competitiva quien sabe no solo entrenar redes neuronales, sino también afinar con precisión de orfebre arquitecturas muy complejas para la realidad del habla humana viva.