DuET fait passer l'erreur de transcription piano-partition de 6,56% à 3,64%

Transcrire en partition une interprétation expressive de piano reste une tâche difficile, et le travail récent DuET montre où l'on peut précisément l'améliorer. Les auteurs proposent un Dual-Encoder Transformer qui résout conjointement deux tâches : la conversion en partition du MIDI d'un jeu live (PM2S) et la détection, trame par trame, des temps et des temps forts de la mesure. Sur leur jeu de données Gangqinpu, l'erreur moyenne selon la métrique MUSTER passe de 6,56% à 3,64% par rapport à la meilleure base de référence. C'est une réduction de près de 45% en valeur relative. Le code, les poids et une démo sont disponibles sur GitHub.

Pourquoi la notation est plus complexe qu'il n'y paraît

Un interprète ne joue pas au métronome. Il ralentit avant le point culminant, devance légèrement le temps, étire la phrase. Pour transformer ce flux d'événements en partition, il faut reconstruire la structure métrique : où tombent les barres de mesure, comment les temps se subdivisent, quelle durée écrire pour chaque note. Les attributs de la partition sont rattachés aux notes, alors que les temps sont rattachés au temps physique. Un temps peut tomber sur un silence ou au milieu d'une note longue ; il n'y a alors aucun début de son auquel s'accrocher. Les modèles qui ne regardent que la séquence de notes perdent cette information.

Comment fonctionne DuET

La réponse des auteurs tient dans un double encodage. Un encodeur travaille au niveau des notes, le second au niveau des trames temporelles. Entre les deux, un cross-attention bidirectionnel permet aux représentations des notes de recevoir le contexte des temps et des mesures, tandis que les représentations des trames savent quelles notes sonnent autour d'elles. Un décodeur autorégressif prédit les attributs structurés de la partition et alterne, à chaque pas, entre les deux représentations.

Une partie distincte du travail porte sur les encodages positionnels. TimeRoPE fournit un référentiel temporel commun aux deux encodeurs, ancré dans le temps de l'exécution et non dans l'indice de la séquence. TPRoPE (Time-Pitch Rotary Positional Encoding) encode explicitement les relations temporelles et de hauteur relatives entre les notes.

Paramètres clés du travail :

• architecture : deux encodeurs (notes et trames), cross-attention bidirectionnel, décodeur autorégressif ;
• tâches : transcription PM2S et suivi trame par trame des temps et des temps forts ;
• nouveaux composants : TimeRoPE et TPRoPE ;
• jeux de données : ASAP (piano classique) et Gangqinpu (plusieurs genres, accent sur la musique populaire) ;
• métrique : MUSTER, erreur moyenne ;
• résultat sur Gangqinpu : 6,56% → 3,64% ;
• résultat sur ASAP : 11,30% → 11,22% ;
• en accès libre : code, poids, démo.

Ce que montrent les expériences

Le gain principal est obtenu sur Gangqinpu : un écart de 2,92 points de pourcentage. Sur ASAP, l'amélioration existe formellement, mais elle est minime : 0,08 point, soit environ 0,7% par rapport au résultat précédent. Le répertoire classique, avec son agogique complexe et sa texture dense, produit toujours une erreur supérieure à 11%. Ce chiffre indique que le problème est loin d'être résolu. Les ablations confirment l'apport de trois éléments : le contexte des trames, l'encodage positionnel fondé sur le temps et le masquage de l'historique du décodeur. Pris séparément, chacun contribue à la qualité de l'estimation du tempo et des durées.

Il faut aussi tenir compte du fait que Gangqinpu a été constitué par les auteurs eux-mêmes. Une comparaison sur un jeu de données maison appelle toujours de la prudence, tant que d'autres équipes n'ont pas reproduit le résultat sur des données indépendantes. Les poids ouverts s'y prêtent justement.

À qui cela sert

Pour les développeurs d'éditeurs de partitions et d'applications pédagogiques, DuET offre une base prête à l'emploi pour importer le jeu d'un clavier MIDI sous forme de partition lisible, en particulier pour les arrangements pop. Les chercheurs en IA musicale peuvent s'inspirer de l'axe temporel commun à deux modalités et de TPRoPE : ces idées se transposent à d'autres tâches impliquant des événements répartis dans le temps. Ceux qui comptent déployer le modèle devraient d'abord le tester sur leurs propres enregistrements et vérifier le résultat sur un répertoire proche du classique. La marge de qualité y est, pour l'instant, nettement plus faible.