StyleStream 2.0 يخفض زمن تأخر تحويل الصوت إلى النصف ليصل إلى 520 مللي ثانية

قدّم باحثون StyleStream 2.0، وهو نظام متدفق لتحويل الصوت يعمل بزمن تأخر شامل (end-to-end) قدره 520 مللي ثانية على بطاقة رسوميات استهلاكية. كانت النسخة الأولى تنجز المهمة في نحو ثانية، أي أن التسريع بلغ قرابة الضعف. أما الجانب الثاني من التحديث فيخص قابلية التحكم: صار بالإمكان الآن تصميم صوت انطلاقًا من وصف نصي، أو تعديل خاصية واحدة في تسجيل جاهز دون المساس ببقية الخصائص.

يقوم تحويل أسلوب الصوت (voice style conversion, VSC) بنقل نبرة الصوت المستهدف ولكنته وانفعاله إلى الجملة الأصلية، مع الحفاظ على مضمون الكلام. وكان StyleStream 1.0 أول نظام متدفق من هذا النوع يعمل بأسلوب zero-shot، وقدّم أفضل جودة في وقته. غير أن له قيدين: تأخر ملحوظ في المحادثة الحية، وغياب واجهة نصية لإنشاء الصوت المستهدف أو تعديله.

كيف تحقق زمن 520 مللي ثانية

يعود التسريع إلى خطوتين. أولًا، درّب الفريق نموذج pixel MeanFlow القليل الخطوات، وهو صيغة من flow matching لا تحتاج في التوليد إلا إلى بضع مراحل بدلًا من عشرات. قلة المراحل تعني حسابات أقل لكل مقطع صوتي، وفي الوضع المتدفق ينعكس ذلك مباشرة على زمن التأخر.

أما الخطوة الثانية فتتعلق بالاستقرار. في الاستدلال المتدفق، يعتمد النموذج على مخرجاته الأخيرة، بينما لم يرَ أثناء التدريب سوى سياق مثالي. هذا التباين بين التدريب والتشغيل الفعلي يراكم الأخطاء. وقد أعاد المؤلفون تدريب النموذج بتغذية راجعة انحدارية ذاتية مستلهمين طريقة Self Forcing: يتلقى النموذج أثناء التدريب تنبؤاته الخاصة، كما يحدث في التشغيل الفعلي. وبحسب المؤلفين، بقيت جودة التحويل عند مستوى StyleStream 1.0.

صوت من وصف وتعديل بأمر

ولتحسين قابلية التحكم، أزال المطوّرون سياق المخطط الطيفي الميلي (mel-spectrogram) من النظام. وصارت المعلومات عن الأسلوب المستهدف تمر عبر style embedding مضغوط. هذا الفضاء أنسب بكثير للتحكم: يمكن فيه التعامل مع شروط نصية دون حمل تمثيل صوتي ضخم للمرجع.

في هذا الفضاء دُرّب نموذج flow matching واحد مشروط بالنص، ويعمل بوضعين:

• voice design: يتحول الأمر المكتوب بلغة طبيعية إلى أسلوب صوتي؛
• voice editing: تغيّر التعليمات سمة واحدة مختارة في الجملة الأصلية، وتبقى السمات الأخرى كما هي.

يغطي نموذج واحد المهمتين، ولذلك لا حاجة إلى أنظمة منفصلة لتوليد الصوت وتعديله.

ماذا أظهرت التجارب

بحسب بيانات الورقة البحثية، يحقق StyleStream 2.0 أعلى دقة في إعادة إنتاج الأسلوب المستهدف في ثلاث مهام معًا: تحويل الصوت، وتصميم الصوت، والتعديل. وفي وضوح الكلام والحفاظ على السمات غير المتغيّرة يبقى النظام منافسًا، أي أن التفوق في الأسلوب لم يأتِ على حساب خسارة ملحوظة في المقاييس الأخرى.

أبرز معطيات العمل:

• زمن التأخر الشامل (end-to-end): 520 مللي ثانية على GPU استهلاكية، مقابل نحو ثانية واحدة في النسخة 1.0؛
• التوليد: few-step pixel MeanFlow مع إعادة تدريب على غرار Self Forcing؛
• تمثيل الأسلوب: تضمين مضغوط دون مخطط طيفي ميلي (mel-spectrogram)؛
• الواجهة: أوامر نصية للتصميم وتعليمات للتعديل؛
• التفوق في style fidelity في VSC وvoice design وvoice editing.

أين يفيد ذلك

نصف الثانية لا يرقى بعد إلى مستوى الاتصال الهاتفي، لكنه أقرب بوضوح إلى الحوار الحي من ثانية كاملة. وبالنسبة إلى صنّاع البث المباشر واستوديوهات الألعاب ومطوّري المساعدات الصوتية، هناك ما هو أهم: التحويل على بطاقة رسوميات منزلية واحدة يعني أنه لا حاجة إلى إرسال الصوت إلى السحابة. وهذا يخفض التكلفة ويبسّط مسائل الخصوصية.

يغيّر التحكم النصي سير العمل. فبدلًا من البحث عن مرجع مناسب، يمكن وصف الصوت المطلوب بالكلمات، ثم تعديل الانفعال أو أي سمة أخرى بتعليمة منفصلة. وفي دبلجة الشخصيات والتعريب يوفّر ذلك الوقت.

وهناك أيضًا خطر تعرفه الصناعة منذ زمن طويل. فالتحويل المتدفق السريع للصوت مع نقل عالي الجودة للنبرة يسهّل انتحال أشخاص بعينهم في الوقت الفعلي. وسيحتاج من يدمجون هذه النماذج في منتجاتهم إلى آليات للموافقة ووسم الكلام المُصطنع. من الناحية التقنية ارتفع السقف مجددًا، والسؤال الآن: ما مدى سرعة لحاق قواعد الاستخدام به.