DuET reduce el error al transcribir piano a partitura del 6,56% al 3,64%

Transcribir una interpretación pianística expresiva a partitura sigue siendo una tarea difícil, y el trabajo reciente DuET muestra dónde se puede mejorar. Los autores proponen un Dual-Encoder Transformer que resuelve conjuntamente dos tareas: convertir el MIDI de una interpretación en directo en partitura (PM2S) y determinar fotograma a fotograma los pulsos y los tiempos fuertes del compás. En Gangqinpu, el conjunto de datos que reunieron ellos mismos, el error medio según la métrica MUSTER bajó del 6,56% al 3,64% frente al mejor baseline. Es una reducción de casi el 45% en términos relativos. El código, los pesos y la demo están publicados en GitHub.

Por qué la partitura es más difícil de lo que parece

Un intérprete no toca con metrónomo. Se ralentiza antes del clímax, adelanta ligeramente el pulso, alarga una frase. Para convertir ese flujo de eventos en una partitura hay que reconstruir la estructura métrica: dónde caen los compases, cómo se subdividen los pulsos y qué duración escribir para cada nota. Los atributos de la partitura están ligados a las notas, mientras que los pulsos están ligados al tiempo. Un pulso puede caer en un silencio o en mitad de una nota larga, y entonces no hay ningún ataque cercano al que agarrarse. Los modelos que solo miran la secuencia de notas pierden esa información.

Cómo funciona DuET

La respuesta de los autores es una codificación doble. Un codificador trabaja a nivel de notas y el otro a nivel de fotogramas en el tiempo. Entre ambos hay un cross-attention bidireccional: así, las representaciones de las notas reciben contexto sobre el pulso y el compás, y las de los fotogramas saben qué notas suenan a su alrededor. Un decodificador autorregresivo predice los atributos estructurados de la partitura y, en cada paso, alterna la consulta a las dos representaciones.

Otra parte del trabajo se centra en las codificaciones posicionales. TimeRoPE establece un sistema de referencia temporal común para ambos codificadores, ligado al tiempo de la interpretación y no al índice en la secuencia. TPRoPE (Time-Pitch Rotary Positional Encoding) codifica de forma explícita las relaciones relativas de tiempo y altura entre las notas.

Parámetros clave del trabajo:

• arquitectura: dos codificadores (de notas y de fotogramas), cross-attention bidireccional, decodificador autorregresivo;
• tareas: transcripción PM2S y seguimiento fotograma a fotograma de pulsos y tiempos fuertes;
• componentes nuevos: TimeRoPE y TPRoPE;
• conjuntos de datos: ASAP (piano clásico) y Gangqinpu (varios géneros, con énfasis en música popular);
• métrica: MUSTER, error medio;
• resultado en Gangqinpu: 6,56% → 3,64%;
• resultado en ASAP: 11,30% → 11,22%;
• en acceso abierto: código, pesos y demo.

Qué mostraron los experimentos

La mejora principal se logra en Gangqinpu: una diferencia de 2,92 puntos porcentuales. En ASAP hay una mejora formal, pero mínima: 0,08 puntos, alrededor del 0,7% respecto al resultado anterior. El repertorio clásico, con su agógica compleja y su textura densa, sigue arrojando un error superior al 11%. Esa cifra indica que el problema está lejos de estar resuelto. Las ablaciones confirman la aportación de tres elementos: el contexto de fotogramas, la codificación posicional basada en el tiempo y el enmascaramiento del historial del decodificador. Cada uno contribuye por separado a la calidad de la estimación del tempo y de las duraciones.

Conviene tener en cuenta también que Gangqinpu lo compilaron los propios autores. Una comparación sobre un conjunto de datos propio exige siempre cautela mientras otros grupos no reproduzcan el resultado con datos independientes. Los pesos abiertos son justo lo que permite hacerlo.

A quién le sirve

Para quienes desarrollan editores de partituras y aplicaciones de aprendizaje, DuET ofrece una base lista para importar lo tocado en un teclado MIDI a una partitura legible, sobre todo en arreglos pop. A los investigadores de IA musical les resultan útiles la idea de un eje temporal común para dos modalidades y TPRoPE: ambos se pueden trasladar a otras tareas con eventos distribuidos en el tiempo. Quien piense implantar el modelo debería probarlo primero con sus propias grabaciones y comprobar el resultado con un repertorio cercano al clásico. Ahí el margen de calidad es, por ahora, bastante menor.