AMBIT учит одну модель генерировать и редактировать 3D-звук по тексту

Пространственный звук до сих пор собирают вручную: звукорежиссёр решает, какие источники нужны, куда их поставить и как они движутся, а потом отдельным шагом синтезирует звуковое поле. Команда исследователей под маркой NoizAI предлагает склеить эти этапы в одной модели. Система AMBIT (arXiv 2610.34415) принимает текст и выдаёт нативный First-Order Ambisonics — четырёхканальный формат, описывающий звук вокруг слушателя. Работает она в двух режимах: генерация с нуля и редактирование по инструкции. Авторы — Kam Man Wu, Yu Zhang, Pengjun Fang, Mingfei Chen, Weijia Chen, Zeyue Tian и Qifeng Chen.

План сцены как исполняемый артефакт

Центральная идея AMBIT — ScenePlan. Это не расплывчатое текстовое описание, а структурированный план, который явно фиксирует три вещи: содержание каждого источника (например, реплика, инструмент или шум), его активность во времени и трёхмерную траекторию. Модель сначала пишет такой план, а затем по нему рендерит звук.

За обе стадии отвечает общий бэкбон Transfusion. Авторегрессионная часть планирует сцену, часть на rectified flow отрисовывает звуковое поле. Раздельные модели для планирования и синтеза неизбежно расходятся в представлениях, здесь же оба режима работают на общих весах.

При редактировании план описывает всю целевую сцену, включая источники, которые должны остаться. Просьба «убрать гитару слева» превращается в новый полный план, где гитары нет, а остальное прописано явно. Контрастивные признаки привязывают запрошенное изменение к нужному фрагменту. Полные латенты референсного аудио добавляют остаточные акустические детали, чтобы то, что менять не просили, не поплыло.

Кодек, который не ломает каналы

Обычные аудио-автоэнкодеры рассчитаны на моно или стерео, а в Ambisonics ценна межканальная структура: по ней ухо определяет направление. Поэтому в AMBIT использован FOA-aware непрерывный VAE. Он сочетает три приёма:

• восстановление всенаправленного сигнала через общий декодер, чтобы сохранялось содержание;
• асимметричную сгруппированную KL-регуляризацию, которая по-разному обращается с группами латентов;
• согласование пространственной ковариации, чтобы реконструкция удерживала соотношения между каналами.

Без такого кодека рендерер работал бы в латентном пространстве, которое не различает «звучит похоже» и «звучит с того же направления».

Самодистилляция на собственных ошибках

Третий вклад — совместная on-policy self-distillation (OPSD) для Transfusion. Планировщик обучается на префиксах, которые сгенерировал сам студент, а не на идеальных эталонных планах. Рендерер тренируется в состояниях сэмплирования, до которых он доходит при реальных, неидеальных планах студента. Так сокращается разрыв между обучением и инференсом. Надзор обеспечивают учителя с доступом к целевой сцене. Они подсказывают оба режима общего студента — планирование и рендеринг.

Что заявляют авторы

Оценка проведена на речи, музыке и звуковых эффектах. По сравнению с выбранными бейзлайнами AMBIT показывает лучшее содержание и пространственное качество генерации, более высокую акустическую точность при редактировании по инструкциям и лучшую сохранность неизменённых источников. Статья заняла место в Hugging Face Daily Papers и собрала 33 апвоута.

Ключевые элементы системы:

• формат: нативный First-Order Ambisonics;
• режимы: генерация и редактирование по инструкции;
• бэкбон: общий Transfusion (авторегрессионное планирование плюс rectified-flow рендеринг);
• интерфейс: исполняемые ScenePlans с содержанием, активностью и 3D-траекториями источников;
• редактирование: полный целевой план, контрастивные признаки для изменения, референсные латенты для сохранения;
• кодек: FOA-aware VAE с общим декодером, асимметричной сгруппированной KL и ковариационным согласованием;
• обучение: OPSD с учителями, знающими целевую сцену.

Где это пригодится

Формат Ambisonics используется в VR и AR, 360-градусном видео, играх и иммерсивном аудио, где звук должен поворачиваться вместе с головой слушателя. Сегодня такие сцены записывают специальными микрофонами или собирают в студии. Если генерация по тексту станет надёжной, черновой пространственный саундскейп можно получать за минуты, а правки вроде смены положения источника или замены одного звука не потребуют пересборки всей сцены.

Для разработчиков полезен сам подход: явный план, который можно проверить и поправить до рендеринга, плюс единые веса для генерации и редактирования. Исходный код выложен на GitHub, страница проекта доступна у авторов. Отдельных моделей и датасетов на Hugging Face пока нет, так что воспроизводить результаты придётся по репозиторию.