DuET reduce el error de transcripción de piano a partitura del 6,56% al 3,64%

El problema y el enfoque

Transcribir automáticamente interpretaciones de piano a notación musical es una tarea compleja. El intérprete varía la duración de cada nota y desplaza el ritmo, pero la partitura debe reflejar no solo las alturas correctas, sino también la estructura del compás y la sincronización de las notas con los tiempos fuertes. Los enfoques tradicionales se centraban en el nivel de la nota (alturas sonadas) o en el nivel del fotograma (pulsos y tiempos fuertes). Los investigadores Wei Zeng y Ye Wang, de la Universidad Nacional de Singapur, propusieron una solución radicalmente distinta: un transformer de doble codificador que procesa ambas tareas a la vez mediante atención mutua.

La arquitectura de DuET

El modelo se construye sobre los siguientes componentes:

Doble codificación y atención cruzada: codificadores separados procesan las alturas de las notas y la rejilla rítmica de los fotogramas, conectados por una atención cruzada bidireccional que permite intercambiar contexto. Un decodificador autorregresivo alterna entre las representaciones de notas y de fotogramas, prediciendo secuencialmente los atributos de la partitura.

Codificaciones posicionales: TimeRoPE establece una referencia temporal unificada de la interpretación (performance-time reference), mientras que Time-Pitch Rotary Positional Encoding (TPRoPE) codifica explícitamente las relaciones relativas de tiempo y altura tonal. Estos mecanismos permiten al modelo gestionar con mayor precisión las principales fuentes de error: los cambios de tempo y el fraseo del intérprete.

Entrenamiento conjunto: en lugar de resolver por separado la transcripción MIDI-a-partitura (PM2S) y el seguimiento de pulsos y tiempos fuertes (beat and downbeat tracking), el modelo las trata como una única tarea, donde el contexto de un nivel ayuda al otro.

Resultados en los conjuntos de datos

El equipo probó DuET en dos conjuntos de datos:

Gangqinpu — un conjunto de datos propio de los autores con más de 18.000 pares interpretación-partitura, que abarca varios géneros con un foco especial en el piano popular. Aquí DuET redujo el error promedio de la métrica MUSTER del 6,56% al 3,64%, una mejora de 2,92 puntos porcentuales.

ASAP — un conjunto de datos clásico de repertorio académico. En este caso el resultado fue más modesto: el error bajó del 11,30% al 11,22%. La diferencia se explica por la complejidad del repertorio clásico, donde las variaciones interpretativas son mayores.

Los estudios de ablación confirmaron que las mejoras provienen del contexto a nivel de fotograma, las codificaciones posicionales temporales y el enmascaramiento del historial del decodificador.

Recursos disponibles

Los autores han publicado todo lo necesario para usar el modelo:

Demo interactiva: https://huggingface.co/spaces/Wayne42/DuET-demo permite probar el modelo directamente en el navegador con grabaciones de audio propias.

Código fuente y pesos: https://github.com/wei-zeng98/DuET contiene la implementación completa y los modelos entrenados.

Conjunto de datos Gangqinpu: los autores planean publicar el conjunto completo con más de 18.000 ejemplos para futuras investigaciones.

El trabajo se publicó el 15 de octubre de 2026 y ya ha recibido una acogida positiva en la comunidad.