DuET reduz o erro de transcrição de piano para partitura de 6,56% para 3,64%

Transcrever uma performance expressiva de piano para partitura continua sendo uma tarefa difícil, e o novo trabalho DuET mostra onde é possível melhorar. Os autores propuseram o Dual-Encoder Transformer, que resolve em conjunto duas tarefas: converter o MIDI de uma execução ao vivo em partitura (PM2S) e determinar, quadro a quadro, os tempos e os tempos fortes do compasso. No dataset Gangqinpu, montado por eles, o erro médio pela métrica MUSTER caiu de 6,56% para 3,64% em comparação com o melhor baseline. É uma redução de quase 45% em termos relativos. Código, pesos e demo estão no GitHub.

Por que transcrever partitura é mais difícil do que parece

O intérprete não toca seguindo um metrônomo. Ele desacelera antes do clímax, antecipa levemente o tempo e estica a frase. Para transformar esse fluxo de eventos em partitura, é preciso reconstruir a estrutura métrica: onde ficam os compassos, como os tempos se dividem e qual duração registrar para cada nota. Os atributos da partitura estão ligados às notas, mas os tempos estão ligados ao tempo cronológico. Um tempo pode cair numa pausa ou no meio de uma nota longa, e então não há nenhum ataque de som por perto em que o modelo possa se apoiar. Modelos que olham apenas para a sequência de notas perdem essa informação.

Como funciona o DuET

A resposta dos autores é a codificação dupla. Um encoder trabalha no nível das notas; o outro, no nível dos quadros ao longo do tempo. Entre os dois há um cross-attention bidirecional: assim, as representações das notas recebem contexto sobre o tempo e o compasso, e as representações dos quadros sabem quais notas soam ao redor. Um decoder autorregressivo prevê os atributos estruturados da partitura e, a cada passo, alterna o acesso às duas representações.

Uma parte à parte do trabalho trata das codificações posicionais. O TimeRoPE define um referencial temporal comum para os dois encoders, vinculado ao tempo da performance, e não ao índice na sequência. O TPRoPE (Time-Pitch Rotary Positional Encoding) codifica explicitamente as relações relativas de tempo e de altura entre as notas.

Principais parâmetros do trabalho:

• arquitetura: dois encoders (de notas e de quadros), cross-attention bidirecional, decoder autorregressivo;
• tarefas: transcrição PM2S e acompanhamento quadro a quadro de tempos e tempos fortes;
• novos componentes: TimeRoPE e TPRoPE;
• datasets: ASAP (piano clássico) e Gangqinpu (vários gêneros, com foco em música popular);
• métrica: MUSTER, erro médio;
• resultado no Gangqinpu: 6,56% → 3,64%;
• resultado no ASAP: 11,30% → 11,22%;
• em acesso aberto: código, pesos, demo.

O que os experimentos mostraram

O principal ganho veio no Gangqinpu: uma diferença de 2,92 pontos percentuais. No ASAP, há uma melhora formal, mas mínima: 0,08 ponto, cerca de 0,7% em relação ao resultado anterior. O repertório clássico, com sua agógica complexa e textura densa, continua com erro acima de 11%. Esse número indica que a tarefa está longe de resolvida. As ablações confirmam a contribuição de três elementos: o contexto de quadros, a codificação posicional baseada em tempo e o mascaramento do histórico do decoder. Cada um deles, isoladamente, contribui para a qualidade da estimativa de andamento e de durações.

Vale lembrar também que o Gangqinpu foi montado pelos próprios autores. Comparações em um dataset próprio exigem cautela até que outros grupos reproduzam o resultado em dados independentes. Os pesos abertos são adequados justamente para isso.

A quem isso interessa

Para quem desenvolve editores de partitura e aplicativos de ensino, o DuET oferece uma base pronta para importar a performance de um teclado MIDI como partitura legível, especialmente em arranjos pop. Para pesquisadores de IA musical, são úteis as ideias do eixo temporal comum para duas modalidades e do TPRoPE: ambas podem ser transferidas para outras tarefas com eventos distribuídos no tempo. Quem pretende adotar o modelo deve primeiro testá-lo em gravações próprias e verificar o resultado em repertório próximo ao clássico. Nesse caso, a margem de qualidade ainda é bem menor.