VK et la HSE créent un modèle d'IA léger pour la réduction de bruit et la déréverbération en temps réel

Le développeur Zakhar Kondaurov, dans le cadre d'un projet de l'École d'ingénierie et de mathématiques de l'université HSE et de VK, sous la direction d'Ivan Beskrovny, responsable de l'équipe des technologies audio de VK Video, a conçu un modèle léger qui résout à la fois la réduction de bruit et la déréverbération d'un signal audio en temps réel.

Pourquoi cette tâche est plus difficile qu'il n'y paraît

La plupart des travaux en speech enhancement se limitent à la suppression du bruit, bien que les architectures actuelles permettent de s'attaquer à une tâche plus complexe : la réduction de bruit et la déréverbération conjointes. La cause tient à un déséquilibre du secteur : il existe nettement plus de benchmarks et de modèles prêts à l'emploi pour supprimer le bruit que pour traiter les autres distorsions du signal, réverbération comprise, et les nouvelles solutions n'ont tout simplement rien à quoi se comparer.

• L'auteur du projet est Zakhar Kondaurov, participant de l'École d'ingénierie et de mathématiques de l'université HSE
• Le travail a été mené avec VK, sous la direction d'Ivan Beskrovny, responsable de l'équipe des technologies audio de VK Video
• La plupart des solutions existantes sont entraînées sur de l'audio à 16 kHz, et non en full-band à 48 kHz
• Aujourd'hui, la réduction de bruit et la déréverbération sont le plus souvent traitées en séquence par deux réseaux de neurones distincts

Ce qu'apporte un modèle full-band

La limite de 16 kHz réduit fortement la plage de fréquences du signal traité : les harmoniques supérieures de la voix et les petits détails sonores sont tout simplement écartés. Un modèle entraîné sur de l'audio full-band à 48 kHz conserve nettement plus d'informations acoustiques, ce qui compte pour les services vocaux comme les appels vidéo et les diffusions, domaine où travaille l'équipe de VK Video.

Souvent, la réduction de bruit et la déréverbération sont aujourd'hui traitées en séquence : un premier réseau de neurones retire le bruit parasite, puis un second s'attaque à l'écho et à la résonance de la pièce. Cette chaîne consomme plus de mémoire et de temps de calcul qu'un modèle unique qui résout les deux tâches d'un coup. Réunir les tâches dans une seule architecture permet aux appareils aux ressources limitées, comme les smartphones, les ordinateurs portables et les casques, de traiter la voix en local, sans envoyer le flux audio à un serveur, ce qui réduit à la fois la charge sur l'infrastructure et la latence de réponse du système.

Ce que cela signifie

Le projet montre la direction que prend le traitement de la parole : au lieu d'une chaîne de réseaux de neurones très spécialisés, un seul modèle full-band compact, qui peut tourner directement sur l'appareil de l'utilisateur plutôt que de faire transiter l'audio par un serveur pour obtenir un son propre lors d'un appel ou d'une diffusion.