FLOMSS: flow matching разделил музыку на 4 стема и занял 2-е место на слух

Разделение музыки на дорожки десять лет считалось территорией дискриминативных моделей: сеть смотрит на микс и напрямую предсказывает, где вокал, а где бас. Исследователи во главе с Shuyang Cui предложили FLOMSS, систему, где та же задача решается как генерация. Модель строит стемы методом flow matching для полнополосного стерео в четырёхисточниковой постановке: вокал, бас, ударные и «остальное». Старшая версия FLOMSS-M заняла второе место в общем зачёте теста на прослушивание, при этом по SDR отстала от сильных дискриминативных сепараторов.

Четыре развилки, которые проверили по очереди

Вместо того чтобы показать одну удачную архитектуру, авторы разобрали пространство дизайна на составные части. Они сравнили, что именно предсказывает модель, по какой траектории поток ведёт шум к данным, как лучше обрабатывать источники и как заставить стемы складываться обратно в исходный микс.

• цель предсказания (prediction targets);
• форма потока (flow paths);
• моделирование одного источника против совместного моделирования всех четырёх;
• ограничения согласованности микса (mixture consistency).

Победила связка Optimal Transport-CFM с x-prediction. Она дала самый сбалансированный результат по всему набору метрик. Не лучшая по каждой цифре, а наименее перекошенная, что для генеративной модели с несколькими критериями качества практично.

SDR перестал быть единственной линейкой

SDR, отношение сигнала к искажению, измеряет, насколько выход совпадает с эталоном по waveform. Это удобно для дискриминативных моделей, которые оптимизируют именно такое совпадение. Генеративная модель может выдать убедительную партию ударных, которая звучит правильно, но не совпадает с оригиналом по фазе, и SDR её накажет.

Поэтому авторы оценивали разделение пятью группами метрик:

• уровень сигнала (в том числе SDR);
• спектральные метрики;
• метрики на основе эмбеддингов;
• распределительные метрики;
• субъективное тестирование на слух.

В результате проявился компромисс между распределением и реконструкцией. Модели на flow matching улучшают спектральное и эмбеддинг-сходство, но, как правило, жертвуют частью SDR. Для слушателя и для задач вроде ремикса или сэмплирования это может быть выгодной сделкой. Для задач, где нужна побитовая точность, невыгодной.

Две модели и честное второе место

На бенчмарке MUSDB18-HQ авторы сравнили две конфигурации.

• FLOMSS-S превосходит прежние генеративные базовые модели по большинству спектральных и перцептивных метрик.
• FLOMSS-M, масштабированная версия, улучшает все заявленные объективные метрики относительно FLOMSS-S и занимает второе место в общем зачёте теста на прослушивание. SDR у неё ниже, чем у сильных дискриминативных сепараторов.

Это осторожная победа. Генеративный подход не вытеснил классические методы, но вплотную подошёл к ним по восприятию. Фраза «второе место» говорит больше, чем рекорд по одной метрике: слушатели не отличают результат принципиально хуже лидера, хотя цифры реконструкции у него слабее.

Кому пригодится генеративный сепаратор

Для разработчиков аудиоинструментов главный вывод в том, что метрики надо выбирать под задачу. Если продукт предназначен для караоке, ремиксов или подготовки датасетов для музыкальных генеративных моделей, имеет смысл смотреть на спектральные и эмбеддинг-метрики и на прослушивание, а не только на SDR. Если нужно вычитать вокал из master-дорожки без потери деталей, дискриминативные модели пока надёжнее.

Исследователям работа дала готовую карту решений: OT-CFM с x-prediction как отправная точка и набор метрик, который показывает ту сторону качества, где SDR слеп. Авторы выложили демо-страницу с примерами разделения. Остаётся вопрос, удастся ли сократить разрыв по SDR при дальнейшем масштабировании, ведь переход от S к M уже улучшил все объективные показатели.