SEAM تعلّم نماذج TTS كلمات جديدة دون تسجيلات صوتية وتخفّض الحاجة إلى البيانات بنسبة 75%

اقترح فريق من الباحثين طريقة SEAM (Spectral Embedding Alignment and Merging) لإضافة رموز جديدة إلى نماذج TTS الشرطية دون أي تسجيل صوتي في مرحلة التهيئة. وعلى ثلاث لغات ومعماريتين للتركيب الصوتي، تبلغ الطريقة الأداء الأساسي أو تقترب منه كثيرًا، مستخدمةً حتى أربعة أضعاف أقل من بيانات التدريب. وينخفض تعقيد العينات (sample complexity) بنسبة 75% مقارنةً بالتهيئة العشوائية وحساب متوسط الرموز الفرعية (mean pooling).

لماذا تُربك الكلمة الجديدة تركيب الكلام؟

يعتمد نموذج TTS الشرطي على قاموس من الرموز. لكل رمز تضمين (embedding)، ومن خلال هذه المتجهات يفهم فاكّ الترميز (decoder) كيف ينبغي أن يبدو الصوت الناتج. ما دامت اللغة والمفردات مغطاة بالقاموس، يسير كل شيء على ما يرام. لكن المشكلة تظهر عندما تلزم إضافة رموز جديدة، كما في اللغات قليلة الموارد أو اللهجات أو الأسماء أو المصطلحات، إذ لا بد من الحصول على متجه لرمز لم يرَه النموذج من قبل.

المسار المعتاد هو تهيئة المتجه عشوائيًا أو حساب متوسط تضمينات الرموز الفرعية المكوِّنة له، ثم مواصلة تدريب النموذج على أزواج «نص — صوت» الموسومة. وفي اللغات ذات المدوّنات الصغيرة تصبح هذه الأزواج بالذات عنق الزجاجة الرئيسي. فهي قليلة ومكلفة، ولا أحد يرغب في تسجيل قارئ صوتي لكل توسعة في المفردات.

وللمتوسط الحسابي ضعف أعمق من ذلك. فالكلام متتابع: «كا» و«أك» تتألفان من العناصر نفسها لكنهما تُنطقان بشكل مختلف. أما mean pooling فيفقد هذا الترتيب، فيخرج المتجه النهائي ضبابيًا.

مرشّح طيفي وانحدار ريدج بدل التدريب الأعمى

يعمل SEAM على خطوتين. أولًا، يُبنى التضمين الجديد من الرموز الفرعية المعروفة، لا عبر المتوسط البسيط، بل بتطبيق مرشّح طيفي يحافظ على الترتيب الزمني، أي الصوتي. ثم يجب «إسكان» المتجه في الفضاء الذي اعتاده النموذج المدرَّب مسبقًا. ولهذا يستخدم المؤلفون انحدار ريدج (ridge regression) بحلّ بصيغة مغلقة. وهذه معادلة تحليلية، وليست حلقة منفصلة من الانحدار التدرّجي.

ومن هنا تأتي الميزة العملية الرئيسية: لا حاجة إلى الصوت في مرحلة التهيئة. يبدأ النموذج بمتجهات ذات معنى تقع على متعدد الطيات (manifold) الصحيح للشروط، فلا يبدأ التدريب اللاحق من الصفر. ويصف المؤلفون الحل بأنه خفيف وقابل لإعادة الإنتاج ومؤسَّس نظريًا.

أبرز معالم العمل:

• المهمة: توسيع مفردات نماذج TTS الشرطية لسيناريوهات اللغات قليلة الموارد والسيناريوهات العابرة للغات.
• تهيئة بلا صوت: تُبنى تضمينات الرموز الجديدة من الرموز الفرعية المعروفة.
• يحافظ المرشّح الطيفي على ترتيب العناصر الصوتية.
• يتولى انحدار ريدج بصيغة مغلقة مواءمة التضمينات مع متعدد الطيات الشرطي للنموذج المدرَّب مسبقًا.
• التحقق: ثلاث لغات ومعماريتان لـ TTS.
• النتيجة: جودة بمستوى النموذج الأساسي أو قريبة منه مع حجم بيانات أقل بما يصل إلى 4 مرات.
• انخفاض sample complexity بنسبة 75% مقارنةً بـ random init وmean pooling.

من سيستفيد أولًا؟

لا تهمّ هذه الوفورات بمقدار أربعة أضعاف رواد السوق أصحاب المدوّنات الضخمة، بل من لا تكاد تتوافر لديهم تسجيلات. أي الفرق التي تعدّ أصواتًا للغات النادرة، وواجهات صوتية محلية، ومساعدين لمجالات متخصصة ذات مفردات غير معتادة، كالطب أو المصطلحات القانونية.

وتزداد الطريقة جاذبية للمهندس لأنها لا تكسر شيئًا في خط المعالجة (pipeline). فيُدمج SEAM كخطوة تهيئة قبل التدريب اللاحق المعتاد، دون معمارية جديدة ودون مجموعة بيانات جديدة. وصيغة المواءمة المغلقة سهلة إعادة الإنتاج ورخيصة حسابيًا، وبالتالي يمكن اختبارها على نموذجك الخاص في وقت قصير.

والخلاصة العملية: إذا كنت توسّع مفردات TTS وتنفق ميزانيتك على جمع تسجيلات مقترنة، فمن المجدي أن تقارن أولًا خط الأساس (baseline) الحالي لديك بالتهيئة من الرموز الفرعية مع الترشيح الطيفي. وحتى لو لم تتطابق نتائجك تمامًا مع أرقام الورقة، فإن إمكانات التوفير في الوسم والتسجيل هنا ملحوظة. وقد قيست نتائج المؤلفين على ثلاث لغات ومعماريتين، لذا ينبغي التحقق من نقلها إلى نماذج أخرى بشكل منفصل، ومن المنطقي أن تبدأ باللغة التي ينقصها الصوت أكثر من غيرها حاليًا.