DuET fait chuter le taux d'erreur de transcription piano-vers-partition de 6,56 % à 3,64 %

Le problème et l'approche

La transcription automatique d'interprétations pianistiques en notation musicale est une tâche complexe. L'interprète fait varier le timing de chaque note et décale le rythme, mais la partition doit refléter non seulement les hauteurs correctes, mais aussi la structure de la mesure et la synchronisation des notes avec les temps forts. Les approches traditionnelles se concentraient soit sur le niveau des notes (hauteurs jouées), soit sur le niveau des frames (battements et temps forts). Wei Zeng et Ye Wang, chercheurs à l'Université nationale de Singapour, proposent une solution radicalement différente : un transformeur à double encodeur qui traite les deux tâches simultanément via une attention mutuelle.

L'architecture de DuET

Le modèle repose sur les composants suivants :

Double encodage et cross-attention : des encodeurs distincts traitent les hauteurs des notes et la grille rythmique des frames, reliés par une cross-attention bidirectionnelle pour échanger du contexte. Un décodeur autorégressif alterne entre les représentations de notes et de frames, en prédisant séquentiellement les attributs de la partition.

Encodages positionnels : TimeRoPE établit une référence temporelle unifiée de l'interprétation (performance-time reference), tandis que le Time-Pitch Rotary Positional Encoding (TPRoPE) encode explicitement les relations relatives de temps et de hauteur. Ces mécanismes permettent au modèle de mieux gérer les principales sources d'erreur : les variations de tempo et de phrasé de l'interprète.

Apprentissage conjoint : au lieu de résoudre séparément la transcription MIDI-vers-partition (PM2S) et le suivi des battements et temps forts (beat and downbeat tracking), le modèle traite ces deux tâches comme une seule, où le contexte d'un niveau nourrit l'autre.

Résultats sur les jeux de données

Les chercheurs ont testé DuET sur deux jeux de données :

Gangqinpu — un jeu de données propre aux auteurs, comptant plus de 18 000 paires interprétation-partition, couvrant plusieurs genres avec un accent particulier sur la musique de piano populaire. Ici, DuET fait chuter l'erreur moyenne de la métrique MUSTER de 6,56 % à 3,64 %, soit une amélioration de 2,92 points de pourcentage.

ASAP — un jeu de données classique du répertoire académique. Le résultat y est un peu plus modeste : l'erreur passe de 11,30 % à 11,22 %. Cette différence s'explique par la complexité du répertoire classique, où les variations d'interprétation sont plus marquées.

Des études d'ablation confirment que ces gains proviennent du contexte au niveau des frames, des encodages positionnels temporels et du masquage de l'historique du décodeur.

Les ressources disponibles

Les auteurs ont publié tout le nécessaire pour utiliser le modèle :

Démo interactive : https://huggingface.co/spaces/Wayne42/DuET-demo permet de tester le modèle directement dans le navigateur avec ses propres enregistrements audio.

Code source et poids : https://github.com/wei-zeng98/DuET contient l'implémentation complète et les modèles entraînés.

Jeu de données Gangqinpu : les auteurs prévoient de publier l'intégralité du jeu de données, avec plus de 18 000 exemples, pour de futures recherches.

Ce travail a été publié le 15 octobre 2026 et a déjà reçu un accueil positif de la communauté.