VK e HSE criam modelo de IA leve para reduzir ruído e reverberação em tempo real

O desenvolvedor Zakhar Kondaurov, em um projeto da Escola de Engenharia e Matemática da Universidade HSE e da VK, sob a orientação de Ivan Beskrovny, chefe da equipe de tecnologias de áudio do VK Video, criou um modelo leve que resolve ao mesmo tempo a supressão de ruído e a dereverberação de um sinal de áudio em tempo real.

Por que essa tarefa é mais difícil do que parece

A maior parte das pesquisas em speech enhancement se limita à supressão de ruído, embora as arquiteturas atuais permitam enfrentar uma tarefa mais complexa: a supressão conjunta de ruído e dereverberação. O motivo é um desequilíbrio do setor: há bem mais benchmarks e modelos prontos para suprimir ruído do que para combater outras distorções do sinal, incluindo a reverberação, e as novas soluções simplesmente não têm com o que ser comparadas.

• O autor do projeto é Zakhar Kondaurov, participante da Escola de Engenharia e Matemática da Universidade HSE
• O trabalho foi feito em conjunto com a VK, sob orientação de Ivan Beskrovny, chefe da equipe de tecnologias de áudio do VK Video
• A maioria das soluções existentes é treinada com áudio a 16 kHz, e não com full-band a 48 kHz
• Hoje, supressão de ruído e dereverberação costumam ser resolvidas em sequência por duas redes neurais diferentes

O que um modelo full-band oferece

O limite de 16 kHz estreita bastante a faixa de frequências do sinal processado: os harmônicos superiores da fala e os pequenos detalhes do som são simplesmente descartados. Um modelo treinado com áudio full-band a 48 kHz preserva bem mais informação acústica, o que importa para serviços de voz como videochamadas e transmissões, área em que atua a equipe do VK Video.

Com frequência, a supressão de ruído e a dereverberação são resolvidas hoje em sequência: primeiro uma rede neural remove o ruído externo e depois uma segunda lida com o eco e a reverberação do ambiente. Essa cadeia gasta mais memória e tempo de processamento do que um único modelo que resolve as duas tarefas de uma vez. Reunir as tarefas em uma só arquitetura permite que dispositivos com recursos limitados, como smartphones, notebooks e headsets, processem a fala localmente, sem enviar o fluxo de áudio a um servidor, o que reduz tanto a carga na infraestrutura quanto a latência de resposta do sistema.

O que isso significa

O projeto mostra para onde caminha o processamento de fala: em vez de uma cadeia de redes neurais superespecializadas, um único modelo full-band compacto que pode rodar direto no dispositivo do usuário, em vez de enviar o áudio a um servidor para obter som limpo em uma chamada ou transmissão.