FLOMSS: flow matching separa música em 4 stems e fica em 2º lugar na avaliação auditiva

Por dez anos, a separação de música em faixas foi considerada território dos modelos discriminativos: a rede analisa a mistura e prevê diretamente onde estão o vocal e o baixo. Pesquisadores liderados por Shuyang Cui propuseram o FLOMSS, um sistema que resolve a mesma tarefa como geração. O modelo constrói os stems pelo método de flow matching, para estéreo de banda completa, em uma configuração de quatro fontes: vocal, baixo, bateria e "restante". A versão maior, FLOMSS-M, ficou em segundo lugar na classificação geral do teste de audição, mas ficou atrás de separadores discriminativos fortes em SDR.

Quatro decisões de projeto testadas uma a uma

Em vez de apresentar uma única arquitetura bem-sucedida, os autores decompuseram o espaço de design em partes. Eles compararam o que exatamente o modelo prevê, por qual trajetória o fluxo leva o ruído até os dados, qual a melhor forma de tratar as fontes e como fazer os stems somarem de volta a mistura original.

• alvo de predição (prediction targets);
• forma do fluxo (flow paths);
• modelagem de uma fonte por vez contra modelagem conjunta das quatro;
• restrições de consistência da mistura (mixture consistency).

A combinação vencedora foi Optimal Transport-CFM com x-prediction. Ela deu o resultado mais equilibrado em todo o conjunto de métricas. Não é a melhor em cada número, mas a menos desbalanceada, o que é prático para um modelo generativo avaliado por vários critérios de qualidade.

O SDR deixou de ser a única régua

O SDR, razão sinal-distorção, mede o quanto a saída coincide com a referência na forma de onda (waveform). Isso é conveniente para modelos discriminativos, que otimizam justamente essa correspondência. Um modelo generativo pode produzir uma parte de bateria convincente, que soa correta, mas não coincide com o original na fase, e o SDR vai penalizá-lo por isso.

Por isso, os autores avaliaram a separação em cinco grupos de métricas:

• nível do sinal (incluindo SDR);
• métricas espectrais;
• métricas baseadas em embeddings;
• métricas distribucionais;
• teste subjetivo de audição.

O resultado revelou um compromisso entre distribuição e reconstrução. Modelos de flow matching melhoram a similaridade espectral e de embeddings, mas, em geral, sacrificam parte do SDR. Para o ouvinte, e para tarefas como remix ou sampling, isso pode ser um bom negócio. Para tarefas que exigem precisão bit a bit, não.

Dois modelos e um segundo lugar honesto

No benchmark MUSDB18-HQ, os autores compararam duas configurações.

• O FLOMSS-S supera os modelos generativos de referência anteriores na maioria das métricas espectrais e perceptivas.
• O FLOMSS-M, versão escalada, melhora todas as métricas objetivas declaradas em relação ao FLOMSS-S e fica em segundo lugar na classificação geral do teste de audição. Seu SDR é menor que o de separadores discriminativos fortes.

É uma vitória cautelosa. A abordagem generativa não substituiu os métodos clássicos, mas chegou muito perto deles na percepção. O "segundo lugar" diz mais do que um recorde em uma única métrica: os ouvintes não consideram o resultado significativamente pior que o do líder, embora os números de reconstrução dele sejam mais fracos.

Para quem serve um separador generativo

Para desenvolvedores de ferramentas de áudio, a principal conclusão é que as métricas devem ser escolhidas de acordo com a tarefa. Se o produto é voltado a karaokê, remixes ou preparação de datasets para modelos musicais generativos, vale olhar as métricas espectrais e de embeddings e o teste de audição, e não apenas o SDR. Se for preciso subtrair o vocal de uma faixa master sem perder detalhes, os modelos discriminativos ainda são mais confiáveis.

Para pesquisadores, o trabalho entrega um mapa de decisões pronto: OT-CFM com x-prediction como ponto de partida e um conjunto de métricas que mostra o lado da qualidade em que o SDR é cego. Os autores publicaram uma página de demonstração com exemplos de separação. Resta saber se será possível reduzir a diferença em SDR com mais escalonamento, já que a passagem de S para M já melhorou todos os indicadores objetivos.