DuET снижает ошибку транскрипции фортепиано в ноты с 6,56% до 3,64%

Транскрипция выразительного фортепианного исполнения в нотную запись остаётся трудной задачей, и свежая работа DuET показывает, где именно её можно улучшить. Авторы предложили Dual-Encoder Transformer, который совместно решает две задачи: перевод MIDI живой игры в партитуру (PM2S) и покадровое определение долей и сильных долей такта. На собранном ими датасете Gangqinpu средняя ошибка по метрике MUSTER снизилась с 6,56% до 3,64% по сравнению с лучшим бейзлайном. Это сокращение почти на 45% в относительном выражении. Код, веса и демо выложены на GitHub.

Почему ноты сложнее, чем кажется

Исполнитель играет не по метроному. Он замедляется перед кульминацией, чуть опережает долю, растягивает фразу. Чтобы превратить такой поток событий в партитуру, нужно восстановить метрическую структуру: где проходят такты, как делятся доли, какую длительность записать для каждой ноты. Атрибуты партитуры привязаны к нотам, а вот доли привязаны ко времени. Доля может прийтись на паузу или на середину длинной ноты, и тогда рядом нет ни одного начала звука, за которое можно зацепиться. Модели, которые смотрят только на последовательность нот, эту информацию теряют.

Как устроена DuET

Ответ авторов состоит в двойном кодировании. Один энкодер работает на уровне нот, второй на уровне кадров по времени. Между ними стоит двунаправленное cross-attention, поэтому нотные представления получают контекст о доле и такте, а кадровые знают, какие ноты звучат вокруг. Авторегрессионный декодер предсказывает структурированные атрибуты партитуры и на каждом шаге чередует обращение к двум представлениям.

Отдельная часть работы касается позиционных кодирований. TimeRoPE задаёт общую временную систему отсчёта для обоих энкодеров, привязанную ко времени исполнения, а не к индексу в последовательности. TPRoPE (Time-Pitch Rotary Positional Encoding) явно кодирует относительные временные и высотные отношения между нотами.

Ключевые параметры работы:

• архитектура: два энкодера (нотный и кадровый), двунаправленное cross-attention, авторегрессионный декодер;
• задачи: PM2S-транскрипция и покадровое отслеживание долей и сильных долей;
• новые компоненты: TimeRoPE и TPRoPE;
• датасеты: ASAP (классическое фортепиано) и Gangqinpu (несколько жанров, акцент на популярной музыке);
• метрика: MUSTER, средняя ошибка;
• результат на Gangqinpu: 6,56% → 3,64%;
• результат на ASAP: 11,30% → 11,22%;
• в открытом доступе: код, веса, демо.

Что показали эксперименты

Главный выигрыш получен на Gangqinpu: разница 2,92 процентного пункта. На ASAP улучшение формально есть, но минимальное: 0,08 пункта, около 0,7% относительно прежнего результата. Классический репертуар с его сложной агогикой и плотной фактурой по-прежнему даёт ошибку выше 11%. Эта цифра говорит, что задача далека от решённой. Абляции подтверждают вклад трёх элементов: кадрового контекста, позиционного кодирования на основе времени и маскирования истории декодера. По отдельности каждый из них вносит вклад в качество оценки темпа и длительностей.

Стоит также учесть, что Gangqinpu составлен самими авторами. Сравнение на собственном датасете всегда требует осторожности, пока другие группы не воспроизведут результат на независимых данных. Открытые веса для этого как раз подходят.

Кому это пригодится

Разработчикам нотных редакторов и обучающих приложений DuET даёт готовую основу для импорта игры с MIDI-клавиатуры в читаемую партитуру, особенно для поп-аранжировок. Исследователям музыкального ИИ полезны идеи с общей временной осью для двух модальностей и TPRoPE: их можно перенести на другие задачи с событиями, распределёнными по времени. Тем, кто собирается внедрять модель, стоит сначала прогнать её на собственных записях и проверить результат на репертуаре, близком к классике. Там запас по качеству пока заметно меньше.