FLOMSS : le flow matching sépare la musique en 4 stems et décroche la 2e place à l'écoute

Pendant dix ans, la séparation de pistes musicales a été le domaine des modèles discriminatifs : le réseau analyse le mix et prédit directement où se trouvent la voix et la basse. Des chercheurs dirigés par Shuyang Cui proposent FLOMSS, un système qui traite la même tâche comme un problème de génération. Le modèle construit les stems par flow matching, sur du stéréo pleine bande, dans une configuration à quatre sources : voix, basse, batterie et « reste ». La version FLOMSS-M, la plus grande, prend la deuxième place du classement général du test d'écoute, mais reste en retrait en SDR par rapport aux séparateurs discriminatifs les plus performants.

Quatre embranchements testés un par un

Plutôt que de présenter une seule architecture réussie, les auteurs ont décomposé l'espace de conception en ses éléments. Ils ont comparé ce que le modèle prédit exactement, la trajectoire par laquelle le flux conduit le bruit vers les données, la meilleure façon de traiter les sources, et le moyen de forcer les stems à se resommer en mix d'origine.

• cible de prédiction (prediction targets) ;
• forme du flux (flow paths) ;
• modélisation d'une source isolée contre modélisation conjointe des quatre ;
• contraintes de cohérence du mix (mixture consistency).

La combinaison Optimal Transport-CFM avec x-prediction l'emporte. Elle donne le résultat le plus équilibré sur l'ensemble des métriques. Elle n'est pas la meilleure sur chaque chiffre, mais la moins déséquilibrée, ce qui est pragmatique pour un modèle génératif évalué selon plusieurs critères de qualité.

Le SDR n'est plus la seule règle de mesure

Le SDR, rapport signal/distorsion, mesure à quel point la sortie coïncide avec la référence au niveau de la waveform. C'est pratique pour les modèles discriminatifs, qui optimisent justement cette correspondance. Un modèle génératif peut produire une partie de batterie convaincante, qui sonne juste mais ne coïncide pas en phase avec l'original : le SDR la sanctionnera.

Les auteurs ont donc évalué la séparation selon cinq groupes de métriques :

• niveau du signal (dont le SDR) ;
• métriques spectrales ;
• métriques fondées sur les embeddings ;
• métriques distributionnelles ;
• test d'écoute subjectif.

Il en ressort un compromis entre distribution et reconstruction. Les modèles à flow matching améliorent la similarité spectrale et dans l'espace des embeddings, mais sacrifient en général une partie du SDR. Pour l'auditeur, et pour des usages comme le remix ou l'échantillonnage, cet échange peut être avantageux. Pour les tâches qui exigent une précision au bit près, il ne l'est pas.

Deux modèles et une honnête deuxième place

Sur le benchmark MUSDB18-HQ, les auteurs ont comparé deux configurations.

• FLOMSS-S surpasse les modèles génératifs de référence précédents sur la plupart des métriques spectrales et perceptives.
• FLOMSS-M, la version à plus grande échelle, améliore toutes les métriques objectives annoncées par rapport à FLOMSS-S et se classe deuxième au classement général du test d'écoute. Son SDR est inférieur à celui des séparateurs discriminatifs les plus performants.

C'est une victoire prudente. L'approche générative n'a pas évincé les méthodes classiques, mais elle les talonne sur la perception. La mention « deuxième place » en dit plus qu'un record sur une seule métrique : les auditeurs ne jugent pas le résultat nettement moins bon que celui du leader, alors même que ses chiffres de reconstruction sont moins bons.

À qui sert un séparateur génératif

Pour les développeurs d'outils audio, la principale leçon est qu'il faut choisir les métriques en fonction de la tâche. Si le produit vise le karaoké, le remix ou la préparation de datasets pour des modèles génératifs musicaux, il est logique de regarder les métriques spectrales, les métriques d'embeddings et l'écoute, et pas seulement le SDR. S'il faut soustraire la voix d'une piste master sans perdre de détails, les modèles discriminatifs restent pour l'instant plus fiables.

Pour les chercheurs, ce travail fournit une carte de décisions prête à l'emploi : OT-CFM avec x-prediction comme point de départ, et un ensemble de métriques qui éclaire la facette de la qualité que le SDR ne voit pas. Les auteurs ont publié une page de démonstration avec des exemples de séparation. Reste à savoir si l'écart en SDR pourra se réduire avec un changement d'échelle supplémentaire, puisque le passage de S à M a déjà amélioré tous les indicateurs objectifs.