AMBIT apprend à un seul modèle à générer et éditer du son 3D à partir de texte

Le son spatial est encore assemblé à la main : l'ingénieur du son décide quelles sources sont nécessaires, où les placer et comment elles se déplacent, puis synthétise le champ sonore dans une étape distincte. Une équipe de chercheurs sous la marque NoizAI propose de fusionner ces étapes en un seul modèle. Le système AMBIT (arXiv 2610.34415) prend du texte en entrée et produit du First-Order Ambisonics natif — un format à quatre canaux qui décrit le son autour de l'auditeur. Il fonctionne selon deux modes : génération à partir de zéro et édition sur instruction. Les auteurs sont Kam Man Wu, Yu Zhang, Pengjun Fang, Mingfei Chen, Weijia Chen, Zeyue Tian et Qifeng Chen.

Un plan de scène comme artefact exécutable

L'idée centrale d'AMBIT est le ScenePlan. Ce n'est pas une description textuelle vague, mais un plan structuré qui fixe explicitement trois choses : le contenu de chaque source (par exemple une réplique, un instrument ou un bruit), son activité dans le temps et sa trajectoire tridimensionnelle. Le modèle rédige d'abord ce plan, puis en déduit le rendu sonore.

Les deux étapes sont prises en charge par un même backbone Transfusion. La partie autorégressive planifie la scène, la partie à rectified flow restitue le champ sonore. Des modèles séparés pour la planification et la synthèse divergent inévitablement dans leurs représentations ; ici, les deux modes fonctionnent sur des poids communs.

Lors de l'édition, le plan décrit toute la scène cible, y compris les sources qui doivent rester. La demande « enlever la guitare à gauche » se transforme en un nouveau plan complet, où la guitare a disparu et où le reste est explicitement défini. Des caractéristiques contrastives relient la modification demandée au fragment concerné. Les latents complets de l'audio de référence ajoutent les détails acoustiques résiduels, afin que ce qui n'a pas été demandé à changer ne soit pas altéré.

Un codec qui ne casse pas les canaux

Les auto-encodeurs audio classiques sont conçus pour le mono ou le stéréo, alors qu'en Ambisonics la structure inter-canaux est précieuse : c'est elle qui permet à l'oreille de déterminer la direction. AMBIT utilise donc un VAE continu « FOA-aware ». Il combine trois techniques :

• la reconstruction du signal omnidirectionnel via un décodeur commun, pour préserver le contenu ;
• une régularisation KL asymétrique et groupée, qui traite différemment les groupes de latents ;
• l'alignement de la covariance spatiale, pour que la reconstruction conserve les relations entre canaux.

Sans un tel codec, le moteur de rendu travaillerait dans un espace latent qui ne distingue pas « ça sonne pareil » de « ça vient de la même direction ».

Auto-distillation sur ses propres erreurs

Le troisième apport est une self-distillation on-policy conjointe (OPSD) pour Transfusion. Le planificateur s'entraîne sur des préfixes générés par l'étudiant lui-même, et non sur des plans de référence idéaux. Le moteur de rendu s'entraîne dans les états d'échantillonnage auxquels il arrive avec les plans réels, imparfaits, de l'étudiant. Cela réduit l'écart entre l'entraînement et l'inférence. La supervision est assurée par des enseignants ayant accès à la scène cible. Ils guident les deux modes de l'étudiant commun — la planification et le rendu.

Ce qu'affirment les auteurs

L'évaluation a porté sur la parole, la musique et les effets sonores. Par rapport aux références sélectionnées, AMBIT affiche un meilleur contenu et une meilleure qualité spatiale en génération, une précision acoustique plus élevée lors de l'édition sur instruction, et une meilleure préservation des sources non modifiées. L'article a figuré dans Hugging Face Daily Papers et a recueilli 33 votes positifs.

Éléments clés du système :

• format : First-Order Ambisonics natif ;
• modes : génération et édition sur instruction ;
• backbone : Transfusion commun (planification autorégressive plus rendu par rectified flow) ;
• interface : ScenePlans exécutables avec contenu, activité et trajectoires 3D des sources ;
• édition : plan cible complet, caractéristiques contrastives pour la modification, latents de référence pour la préservation ;
• codec : VAE « FOA-aware » avec décodeur commun, KL asymétrique et groupée, et alignement de covariance ;
• entraînement : OPSD avec des enseignants connaissant la scène cible.

À quoi cela peut servir

Le format Ambisonics est utilisé en VR et en AR, dans la vidéo à 360 degrés, les jeux vidéo et l'audio immersif, là où le son doit pivoter avec la tête de l'auditeur. Aujourd'hui, ces scènes sont enregistrées avec des microphones spécialisés ou assemblées en studio. Si la génération à partir de texte devient fiable, un brouillon de paysage sonore spatial pourrait être obtenu en quelques minutes, et des retouches comme le déplacement d'une source ou le remplacement d'un son ne nécessiteraient plus de reconstruire toute la scène.

Pour les développeurs, c'est l'approche elle-même qui est utile : un plan explicite, vérifiable et corrigeable avant le rendu, associé à des poids unifiés pour la génération et l'édition. Le code source est publié sur GitHub, et la page du projet est disponible chez les auteurs. Il n'existe pas encore de modèles ni de jeux de données séparés sur Hugging Face, il faudra donc reproduire les résultats à partir du dépôt.