DuET يخفض خطأ تحويل عزف البيانو إلى نوتة موسيقية من 6,56% إلى 3,64%

لا يزال تحويل عزف بيانو معبّر إلى نوتة موسيقية مهمة صعبة، ويُظهر عمل DuET الجديد أين يمكن تحسينها تحديدًا. اقترح المؤلفون نموذج Dual-Encoder Transformer الذي يحل مهمتين معًا: تحويل بيانات MIDI للعزف الحي إلى partitura (PM2S)، وتحديد النبضات والنبضات القوية في الميزان على مستوى كل إطار زمني. على مجموعة بيانات Gangqinpu التي جمعوها، انخفض متوسط الخطأ وفق مقياس MUSTER من 6,56% إلى 3,64% مقارنةً بأفضل نموذج مرجعي. وهذا يعادل انخفاضًا نسبيًا يقارب 45%. وقد نُشرت الشيفرة والأوزان والعرض التجريبي على GitHub.

لماذا تبدو النوتة أصعب مما يظن المرء؟

العازف لا يلتزم بالمترونوم. فهو يبطئ قبل الذروة، ويسبق النبضة قليلًا، ويمدّ الجملة الموسيقية. ولتحويل هذا التدفق من الأحداث إلى نوتة، لا بد من استعادة البنية الإيقاعية: أين تقع الموازين، وكيف تُقسَّم النبضات، وأي مدة تُدوَّن لكل نوتة. سمات النوتة مرتبطة بالنوتات، أما النبضات فمرتبطة بالزمن. فقد تقع النبضة على فاصل صمت أو في منتصف نوتة طويلة، وعندها لا يوجد بالقرب منها أي بداية صوت يمكن الاستناد إليها. والنماذج التي تنظر إلى تسلسل النوتات وحده تفقد هذه المعلومات.

كيف تعمل DuET؟

يقوم جواب المؤلفين على ترميز مزدوج. يعمل أحد المشفّرين على مستوى النوتات، والثاني على مستوى الإطارات الزمنية. وبينهما آلية cross-attention ثنائية الاتجاه، ولذلك تحصل تمثيلات النوتات على سياق النبضة والميزان، بينما تعرف تمثيلات الإطارات أي النوتات تُعزف حولها. أما المفكّك (decoder) الانحداري ذاتيًا فيتنبأ بالسمات المنظَّمة للنوتة، ويتناوب في كل خطوة بين الرجوع إلى التمثيلين.

ويتناول جزء منفصل من العمل الترميزات الموضعية. يحدد TimeRoPE إطار إسناد زمنيًا مشتركًا للمشفّرين، مرتبطًا بزمن العزف لا بفهرس العنصر في التسلسل. أما TPRoPE (Time-Pitch Rotary Positional Encoding) فيرمّز صراحةً العلاقات الزمنية والنغمية النسبية بين النوتات.

أبرز معالم العمل:

• البنية: مشفّران (للنوتات وللإطارات)، وcross-attention ثنائية الاتجاه، ومفكّك انحداري ذاتيًا؛
• المهام: تحويل PM2S، وتتبّع النبضات والنبضات القوية على مستوى الإطارات؛
• المكوّنات الجديدة: TimeRoPE وTPRoPE؛
• مجموعات البيانات: ASAP (بيانو كلاسيكي) وGangqinpu (عدة أنواع موسيقية مع تركيز على موسيقى البوب)؛
• المقياس: MUSTER، متوسط الخطأ؛
• النتيجة على Gangqinpu: 6,56% ← 3,64%؛
• النتيجة على ASAP: 11,30% ← 11,22%؛
• المتاح للعموم: الشيفرة والأوزان والعرض التجريبي.

ماذا أظهرت التجارب؟

جاء المكسب الرئيسي على Gangqinpu، بفارق 2,92 نقطة مئوية. أما على ASAP فالتحسن موجود شكليًا لكنه ضئيل: 0,08 نقطة، أي نحو 0,7% قياسًا بالنتيجة السابقة. ولا يزال الريبرتوار الكلاسيكي، بما فيه من تبدلات إيقاعية معقدة (agogics) ونسيج كثيف، يعطي خطأً يزيد على 11%. وهذا الرقم يدل على أن المسألة بعيدة عن الحل. وتؤكد دراسات الاستئصال (ablation) مساهمة ثلاثة عناصر: سياق الإطارات، والترميز الموضعي القائم على الزمن، وإخفاء سجل المفكّك. وكل عنصر منها يسهم منفردًا في جودة تقدير الإيقاع والمدد.

ومن المهم أيضًا ملاحظة أن مجموعة Gangqinpu من إعداد المؤلفين أنفسهم. والمقارنة على مجموعة بيانات خاصة بالمؤلفين تتطلب دائمًا الحذر، إلى أن تعيد مجموعات أخرى إنتاج النتيجة على بيانات مستقلة. والأوزان المفتوحة مناسبة لذلك تحديدًا.

لمن يفيد هذا العمل؟

يوفّر DuET لمطوّري محرّرات النوتات والتطبيقات التعليمية أساسًا جاهزًا لاستيراد العزف من لوحة مفاتيح MIDI إلى نوتة مقروءة، ولا سيما توزيعات البوب. وبالنسبة لباحثي الذكاء الاصطناعي الموسيقي، فإن فكرة المحور الزمني المشترك بين نمطين (modalities) وترميز TPRoPE مفيدتان، إذ يمكن نقلهما إلى مهام أخرى تتوزع فيها الأحداث على الزمن. أما من يعتزم تطبيق النموذج، فعليه أولًا اختباره على تسجيلاته الخاصة والتحقق من النتيجة على ريبرتوار قريب من الكلاسيكي. فهناك لا يزال هامش الجودة أصغر بوضوح.