VK y la HSE crean un modelo de IA ligero para reducir ruido y reverberación en tiempo real

El desarrollador Zakhar Kondaurov, dentro de un proyecto de la Escuela de Ingeniería y Matemáticas de la Universidad HSE y VK, bajo la dirección de Iván Beskrovny, jefe del equipo de tecnologías de audio de VK Video, ha creado un modelo ligero que resuelve a la vez la supresión de ruido y la dereverberación de una señal de audio en tiempo real.

Por qué esta tarea es más difícil de lo que parece

La mayoría de las investigaciones en speech enhancement se limitan a suprimir el ruido, aunque las arquitecturas actuales permiten abordar una tarea más compleja: la supresión conjunta de ruido y dereverberación. La causa es un desequilibrio del sector: hay bastantes más benchmarks y modelos listos para suprimir ruido que para combatir otras distorsiones de la señal, incluida la reverberación, y las nuevas soluciones casi no tienen con qué compararse.

• El autor del proyecto es Zakhar Kondaurov, participante de la Escuela de Ingeniería y Matemáticas de la Universidad HSE
• El trabajo se realizó junto con VK, bajo la dirección de Iván Beskrovny, jefe del equipo de tecnologías de audio de VK Video
• La mayoría de las soluciones existentes se entrenan con audio a 16 kHz, y no con full-band a 48 kHz
• Hoy lo más habitual es resolver la supresión de ruido y la dereverberación de forma secuencial con dos redes neuronales distintas

Qué aporta un modelo full-band

El límite de 16 kHz reduce mucho el rango de frecuencias de la señal procesada: los armónicos superiores de la voz y los detalles finos del sonido simplemente se descartan. Un modelo entrenado con audio full-band a 48 kHz conserva bastante más información acústica, algo importante para servicios de voz como videollamadas y transmisiones, donde trabaja el equipo de VK Video.

Con frecuencia, la supresión de ruido y la dereverberación se resuelven hoy en secuencia: primero una red neuronal elimina el ruido ajeno y después una segunda combate el eco y la resonancia de la sala. Esa cadena consume más memoria y tiempo de procesamiento que un único modelo que resuelva ambas tareas a la vez. Combinar las tareas en una sola arquitectura permite que dispositivos con recursos limitados, como smartphones, portátiles y auriculares, procesen la voz de forma local sin enviar el flujo de audio a un servidor, lo que reduce tanto la carga de la infraestructura como la latencia de respuesta del sistema.

Qué significa

El proyecto muestra hacia dónde va el procesamiento de voz: en lugar de una cadena de redes neuronales muy especializadas, un único modelo full-band compacto que puede ejecutarse directamente en el dispositivo del usuario, en vez de enviar el audio a un servidor para lograr un sonido limpio en una llamada o transmisión.