AMBIT apprend à un seul modèle à générer et à éditer du son 3D à partir de texte

Le son spatial reste aujourd'hui assemblé à la main : l'ingénieur du son décide des sources nécessaires, de leur placement et de leurs mouvements, puis synthétise le champ sonore lors d'une étape distincte. Une équipe de chercheurs réunis sous la bannière NoizAI propose de fusionner ces étapes dans un seul modèle. Le système AMBIT (arXiv 2610.34415) prend du texte en entrée et produit du First-Order Ambisonics natif, un format à quatre canaux qui décrit le son autour de l'auditeur. Il fonctionne selon deux modes : génération à partir de zéro et édition par instruction. Les auteurs sont Kam Man Wu, Yu Zhang, Pengjun Fang, Mingfei Chen, Weijia Chen, Zeyue Tian et Qifeng Chen.

Le plan de scène, un artefact exécutable

L'idée centrale d'AMBIT est le ScenePlan. Il ne s'agit pas d'une description textuelle vague, mais d'un plan structuré qui fixe explicitement trois éléments : le contenu de chaque source (par exemple une réplique, un instrument ou un bruit), son activité dans le temps et sa trajectoire en trois dimensions. Le modèle écrit d'abord ce plan, puis rend le son à partir de celui-ci.

Les deux étapes reposent sur un backbone Transfusion commun. La partie autorégressive planifie la scène, tandis que la partie rectified flow dessine le champ sonore. Des modèles séparés pour la planification et la synthèse finissent inévitablement par diverger dans leurs représentations ; ici, les deux modes fonctionnent avec les mêmes poids.

En mode édition, le plan décrit toute la scène cible, y compris les sources qui doivent rester. Une demande comme « retire la guitare à gauche » devient un nouveau plan complet, sans guitare, où tout le reste est spécifié explicitement. Des caractéristiques contrastives rattachent la modification demandée au bon fragment. Les latents complets de l'audio de référence apportent les détails acoustiques résiduels, afin que ce qu'on n'a pas demandé de changer ne « dérive » pas.

Un codec qui ne casse pas les canaux

Les autoencodeurs audio classiques sont conçus pour le mono ou le stéréo, alors qu'en Ambisonics, c'est la structure inter-canaux qui compte : l'oreille s'en sert pour déterminer la direction. AMBIT utilise donc un VAE continu FOA-aware. Il combine trois techniques :

• la reconstruction du signal omnidirectionnel via un décodeur commun, pour préserver le contenu ;
• une régularisation KL asymétrique par groupes, qui traite différemment les groupes de latents ;
• l'alignement de la covariance spatiale, pour que la reconstruction conserve les rapports entre les canaux.

Sans un tel codec, le moteur de rendu travaillerait dans un espace latent incapable de distinguer « sonne pareil » de « sonne depuis la même direction ».

Autodistillation sur ses propres erreurs

La troisième contribution est une on-policy self-distillation (OPSD) conjointe pour Transfusion. Le planificateur s'entraîne sur des préfixes générés par l'élève lui-même, et non sur des plans de référence parfaits. Le moteur de rendu s'entraîne dans les états d'échantillonnage qu'il atteint avec les plans réels, imparfaits, de l'élève. Cela réduit l'écart entre entraînement et inférence. La supervision vient d'enseignants qui ont accès à la scène cible. Ils guident les deux modes de l'élève commun : planification et rendu.

Ce que revendiquent les auteurs

L'évaluation porte sur la parole, la musique et les effets sonores. Par rapport aux baselines retenues, AMBIT affiche un meilleur contenu et une meilleure qualité spatiale en génération, une plus grande fidélité acoustique lors de l'édition par instruction et une meilleure préservation des sources inchangées. L'article a figuré dans les Hugging Face Daily Papers et recueilli 33 upvotes.

Éléments clés du système :

• format : First-Order Ambisonics natif ;
• modes : génération et édition par instruction ;
• backbone : Transfusion commun (planification autorégressive plus rendu par rectified flow) ;
• interface : ScenePlans exécutables avec contenu, activité et trajectoires 3D des sources ;
• édition : plan cible complet, caractéristiques contrastives pour la modification, latents de référence pour la préservation ;
• codec : VAE FOA-aware avec décodeur commun, KL asymétrique par groupes et alignement de covariance ;
• entraînement : OPSD avec des enseignants qui connaissent la scène cible.

À quoi cela peut servir

Le format Ambisonics est utilisé en VR et en AR, dans la vidéo à 360 degrés, les jeux et l'audio immersif, là où le son doit tourner avec la tête de l'auditeur. Aujourd'hui, ces scènes sont enregistrées avec des microphones spéciaux ou assemblées en studio. Si la génération à partir de texte devient fiable, un paysage sonore spatial provisoire pourrait s'obtenir en quelques minutes, et des retouches comme le déplacement d'une source ou le remplacement d'un son n'exigeraient pas de reconstruire toute la scène.

Pour les développeurs, l'approche elle-même est utile : un plan explicite, que l'on peut vérifier et corriger avant le rendu, et des poids uniques pour la génération et l'édition. Le code source est publié sur GitHub, et la page du projet est disponible chez les auteurs. Il n'existe pas encore de modèles ni de jeux de données distincts sur Hugging Face : pour reproduire les résultats, il faudra donc passer par le dépôt.