FLOMSS: flow matching separa la música en 4 stems y queda segundo en la escucha

Durante diez años, la separación de música en pistas ha sido territorio de los modelos discriminativos: la red analiza la mezcla y predice directamente dónde está la voz y dónde el bajo. Un equipo de investigadores liderado por Shuyang Cui propone FLOMSS, un sistema que plantea la misma tarea como un problema de generación. El modelo construye los stems con flow matching para estéreo de banda completa, en una configuración de cuatro fuentes: voz, bajo, batería y «el resto». FLOMSS-M, la versión mayor, quedó en segundo lugar en la clasificación general de la prueba de escucha, aunque en SDR se queda por detrás de los separadores discriminativos más potentes.

Cuatro decisiones de diseño, probadas una a una

En lugar de presentar una única arquitectura acertada, los autores desglosaron el espacio de diseño en sus componentes. Compararon qué predice exactamente el modelo, por qué trayectoria el flujo lleva el ruido hacia los datos, cuál es la mejor forma de procesar las fuentes y cómo lograr que los stems vuelvan a sumar la mezcla original.

• objetivo de predicción (prediction targets);
• forma del flujo (flow paths);
• modelado de una sola fuente frente al modelado conjunto de las cuatro;
• restricciones de consistencia de la mezcla (mixture consistency).

La combinación ganadora fue Optimal Transport-CFM con x-prediction. Ofreció el resultado más equilibrado en el conjunto de métricas. No es la mejor en cada cifra, sino la menos desbalanceada, algo práctico en un modelo generativo que se evalúa con varios criterios de calidad.

El SDR deja de ser la única vara de medir

El SDR, la relación señal-distorsión, mide cuánto coincide la salida con la referencia en la forma de onda (waveform). Es una métrica cómoda para los modelos discriminativos, que optimizan precisamente esa coincidencia. Un modelo generativo puede producir una parte de batería convincente, que suena correcta pero no coincide con el original en fase, y el SDR la penalizará.

Por eso los autores evaluaron la separación con cinco grupos de métricas:

• nivel de señal (incluido el SDR);
• métricas espectrales;
• métricas basadas en embeddings;
• métricas distribucionales;
• pruebas de escucha subjetivas.

El resultado muestra un compromiso entre distribución y reconstrucción. Los modelos de flow matching mejoran la similitud espectral y de embeddings, pero por lo general sacrifican parte del SDR. Para el oyente, y para tareas como el remix o el sampleo, puede ser un buen trato. Para las tareas que exigen precisión bit a bit, no lo es.

Dos modelos y un segundo puesto honesto

En el benchmark MUSDB18-HQ, los autores compararon dos configuraciones.

• FLOMSS-S supera a los modelos generativos de referencia anteriores en la mayoría de las métricas espectrales y perceptivas.
• FLOMSS-M, la versión escalada, mejora todas las métricas objetivas declaradas respecto a FLOMSS-S y ocupa el segundo lugar en la clasificación general de la prueba de escucha. Su SDR es inferior al de los separadores discriminativos más potentes.

Es una victoria cautelosa. El enfoque generativo no ha desplazado a los métodos clásicos, pero se les acerca mucho en percepción. La expresión «segundo puesto» dice más que un récord en una sola métrica: los oyentes no perciben que el resultado sea sustancialmente peor que el del líder, aunque las cifras de reconstrucción de este sean más débiles.

A quién le sirve un separador generativo

Para los desarrolladores de herramientas de audio, la principal conclusión es que las métricas deben elegirse según la tarea. Si el producto está pensado para karaoke, remixes o la preparación de datasets para modelos generativos de música, tiene sentido fijarse en las métricas espectrales y de embeddings, y en la prueba de escucha, y no solo en el SDR. Si hace falta restar la voz de una pista master sin perder detalle, los modelos discriminativos siguen siendo más fiables.

Para los investigadores, el trabajo aporta un mapa de decisiones ya hecho: OT-CFM con x-prediction como punto de partida y un conjunto de métricas que muestra el lado de la calidad que el SDR no ve. Los autores han publicado una página de demostración con ejemplos de separación. Queda por saber si será posible reducir la brecha en SDR con un escalado mayor, ya que el paso de S a M ya mejoró todos los indicadores objetivos.