بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملHabr AI→ المصدر

Fish Audio Drama 3 تجعل تحويل النص إلى كلام محلياً قادراً على الهمس وتهدّج الصوت داخل فقرة واحدة

تقرأ نماذج TTS المحلية الصغيرة، التي تضم 0,5–1,7B معلمة، المونولوج الدرامي بالحيوية نفسها التي تقرأ بها توثيق API، فتطمس الهمس وتهدّج الصوت. جرّب كاتب التحليل Praat وعينات مرجعية من كتب صوتية، ثم شغّل Fish Audio Drama 3 (35B-A3B MoE) على Mac. يتنهّد النموذج تلقائياً عند الوسم [sighs]، وينتقل إلى الهمس، ويبني تصاعداً في الأسئلة الختامية.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Fish Audio Drama 3 تجعل تحويل النص إلى كلام محلياً قادراً على الهمس وتهدّج الصوت داخل فقرة واحدة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1ثلاث عينات مرجعية عاطفية للصوت نفسه بدلاً من ملف واحد مدمج
نسخة 4-bitذاكرة تصل إلى 28,8 غيغابايت وسرعة تقارب 1:1 مع الزمن الفعلي
حقيقة رئيسية #3النموذج الأصغر S2 Pro (4B) يستهلك 12,45 غيغابايت ويستطيع الهمس أيضاً

توفّر نماذج TTS المحلية اليوم أكثر مما يلزم لقراءة تعليق صوتي منتظمة. يكفي تقديم عينة صوتية نقية، وتحديد مواضع النبر، للحصول على تعليق صوتي جيد لمحاضرة أو فيديو إرشادي. تبدأ المشكلات حين يتطلب الأمر أداءً تمثيلياً: يجب أن ينتقل الصوت داخل فقرة واحدة بين السخرية والغصّة والهمس والتهدّج. تحافظ النماذج التي تضم 0,5–1,7B معلمة على النبرة المتوسطة للعينة المرجعية، وتقرأ المأساة بالنبرة نفسها التي تقرأ بها التوثيق التقني.

كان كاتب المادة، وهو مدرّس، يعدّ دورة تفاعلية ويريد الابتعاد عن القراءة الرتيبة. اختار للاختبار مونولوج هاملت مع جمجمة يوريك: أربع جمل تتطلب تغيير الأداء أربع مرات. يبدأ بحنين دافئ، ثم تشنّج واشمئزاز، يليه همس مكتوم، وفي النهاية سلسلة أسئلة تتصاعد حدّتها.

ما الذي لم ينجح

كانت نقطة البداية نسخة من Qwen3-TTS 1.7B خضعت لضبط دقيق باللغة الروسية وتدعم علامات النبر. خرج الكلام نقياً وواضحاً، لكنه افتقر إلى التنوع العاطفي. وعلى مخطط شدة الصوت، بدا كخط شبه أفقي على امتداد النص كله.

تمثّلت المحاولة الثانية في تقسيم المونولوج إلى عبارات، وتوليد كل منها بعينة مرجعية خاصة، ثم تعديل طبقة الصوت في Praat عبر parselmouth باستخدام خوارزمية TD-PSOLA. ظهرت هنا مشكلتان. أولاً، لا ينسخ النموذج النبرة وحدها من العينة المرجعية، بل ينسخ أيضاً المسافة إلى الميكروفون وخصائص الغرفة الصوتية، لذلك يمكن سماع أن العبارات سُجّلت في غرف مختلفة عند نقاط وصلها. ثانياً، لا يقتصر الهمس والتشنّج على طبقة الصوت: يتوقف الوتران الصوتيان عن الانطباق، وتختفي النغمة الأساسية النقية، وتظهر ضوضاء الزفير. إذا اقتصر التعديل على تحريك F0، فالنتيجة تعديل آلي للصوت، لا همس. ومع ذلك، يظل Praat أداة فعّالة للتعديلات الصغيرة، مثل النبر أو نبرة السؤال.

كانت الفرضية الثالثة استخدام قرّاء محترفين من مجموعة بيانات ToneBooks كعينات مرجعية. كانت النتيجة كتاباً صوتياً متقناً، لكن من دون أداء درامي. يحافظ القارئ على أوتاره الصوتية وعلى أداء منتظم طوال ساعات، ولا يؤدّي التشنّجات وتقطّع الأنفاس.

كيف تختلف Drama 3 عن نماذج TTS الخفيفة

أتاحت Fish Audio أوزان fishaudio/drama-3 في نهاية أكتوبر 2026، وفي بداية نوفمبر ظهرت نسخة منقولة بدقة 4 بت في mlx-audio. يعتمد النموذج على معمارية MoE بحجم 35B معلمة، ويضم 256 خبيراً في كل طبقة، ينشط منهم 8 لكل توكن، أي نحو 3 مليارات معلمة نشطة. وأُضيف إليه برج صوتي له ذاكرته الزمنية الخاصة، ومرمّز صوتي بتردد 44,1 كيلوهرتز.

تتعلق أبرز نتيجة عملية بالعينات المرجعية. يقبل القالب عدة أزواج منفصلة من «نص وصوت»: كلام هادئ، وهمس، وزفير ثقيل. إذا دُمجت كلها في ملف واحد، فإن نموذج zero-shot العادي يمزج الحالات في حالة متوسطة، أو ينتقل عشوائياً بين النبرات. أما Drama 3 فيربط كل حالة بتفريغها النصي الخاص.

تتعلق الحيلة الثانية بالوسوم. في ref_text، يجب وضع الوسمين [sighs] و<whisper>...</whisper> في المواضع نفسها التي يتنهّد فيها الممثل أو يهمس في التسجيل، ويجب أن تطابق الكلمات ما نُطق حرفياً، وإلا اختلّت المحاذاة. عندها يستدعي الوسم في النص الأساسي الشهيق والهمس نفسيهما اللذين سمعهما النموذج من هذا الشخص.

النتيجة والتكلفة

نجح النموذج في أداء جميع الانتقالات مع ثلاثة ملفات تعريف صوتية. عند [sighs] يُسمع شهيق حقيقي يصاحبه تغيّر في الإيقاع وطبقة الصوت، وليس مجرد وقفة. وداخل <whisper> ينتج همساً مكتوماً تصاحبه ضوضاء الهواء. وفي الأسئلة الختامية، تبني Drama 3 بنفسها تصاعداً تدريجياً في النبرة حتى يتهدّج الصوت. عند temperature=0.8، تتفاوت مدة التسجيل بين 40,5 و44,0 ثانية، لكن لم تظهر هلوسات أو كلمات مبتلعة.

أما التكلفة، فتشغل الأوزان ذات التكميم المختلط 22,15 GiB، وتبلغ ذروة استهلاك الذاكرة على M4 Pro بذاكرة 48 غيغابايت نحو 28,6–28,8 غيغابايت. يستغرق التحميل 8,3 ثانية، ويجري التوليد بسرعة تقارب 1:1 مع الزمن الفعلي. وعلى بطاقة رسومية بذاكرة VRAM سعتها 24 غيغابايت، يصطدم نموذج كهذا بسقف الذاكرة.

يستغرق تهيئة النموذج الأصغر S2 Pro (4B، بدقة 8-bit، وحجم 6,73 غيغابايت على القرص) نحو 2,4 ثانية، وتبلغ ذروة استهلاكه 12,45 غيغابايت، أي أقل بمقدار 2,3 مرة. وهو ينجح أيضاً في الهمس: يهبط على المخطط إلى القاع، مثل Drama 3. لكنه يقبل مصفوفة مرجعية واحدة ووسوماً من كلمة واحدة مثل [sigh] و[sad] و[whisper]، لذلك يجب دمج العينات المرجعية الثلاث مع فاصل صامت مدته 0,25 ثانية.

للحصول على جرس صوتي مستهدف موحّد، مرّر الكاتب المسارات الصوتية عبر RVC v2 (40 كيلوهرتز). وضُبطت القيمتان protect=0.35 وrms_mix_rate=0.25 حتى لا يحاول المحوّل «غناء» الهمس باستخدام الأوتار الصوتية. ويتمثل العيب في اقتطاع جزء من الترددات العليا مقارنة بالتردد الأصلي البالغ 44,1 كيلوهرتز. ويرى الكاتب أن هذه تسوية معقولة: يمكن تدريب RVC على تسجيل مدته 10–15 دقيقة، بينما يُعد الضبط الدقيق لنموذج بحجم 35B أعقد بما لا يقارن.

ما الذي نستخلصه من ذلك

إذا كنتم تحتاجون إلى أداء صوتي عاطفي بدلاً من قراءة معلّق صوتي، فابحثوا عن نماذج بقالب يدعم عينات مرجعية متعددة ووسوم لتوجيه الأداء، بدلاً من محاولة إصلاح النبرة المسطّحة بالمعالجة اللاحقة. جهّزوا عينات مرجعية للشخص نفسه في حالات مختلفة، وعلّموها بالوسوم نفسها التي تستخدمونها في النص الأساسي. إذا كانت الذاكرة أقل من 30 غيغابايت، فمن الأفضل تجربة S2 Pro أولاً. وتتمثل حدود هذه المادة في أن الاختبارات أُجريت على مونولوج واحد وعلى Mac، وأن الكاتب لم يختبر وضع الأصوات المتعددة في Drama 3.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي لم ينجح؟

كانت نقطة البداية نسخة من Qwen3-TTS 1.7B خضعت لضبط دقيق باللغة الروسية وتدعم علامات النبر. خرج الكلام نقياً وواضحاً، لكنه افتقر إلى التنوع العاطفي. وعلى مخطط شدة الصوت، بدا كخط شبه أفقي على امتداد النص كله. تمثّلت المحاولة الثانية في تقسيم المونولوج إلى عبارات، وتوليد كل منها بعينة مرجعية خاصة، ثم تعديل طبقة الصوت في Praat عبر parselmouth باستخدام خوارزمية TD-PSOLA. ظهرت هنا مشكلتان.

ما أبرز التفاصيل حول كيف تختلف Drama 3 عن نماذج TTS الخفيفة؟

أتاحت Fish Audio أوزان fishaudio/drama-3 في نهاية أكتوبر 2026، وفي بداية نوفمبر ظهرت نسخة منقولة بدقة 4 بت في mlx-audio. يعتمد النموذج على معمارية MoE بحجم 35B معلمة، ويضم 256 خبيراً في كل طبقة، ينشط منهم 8 لكل توكن، أي نحو 3 مليارات معلمة نشطة. وأُضيف إليه برج صوتي له ذاكرته الزمنية الخاصة، ومرمّز صوتي بتردد 44,1 كيلوهرتز. تتعلق أبرز نتيجة عملية بالعينات المرجعية. يقبل القالب عدة أزواج منفصلة من «نص وصوت»: كلام هادئ، وهمس، وزفير ثقيل.

ما أبرز التفاصيل حول النتيجة والتكلفة؟

نجح النموذج في أداء جميع الانتقالات مع ثلاثة ملفات تعريف صوتية. عند [sighs] يُسمع شهيق حقيقي يصاحبه تغيّر في الإيقاع وطبقة الصوت، وليس مجرد وقفة. وداخل <whisper> ينتج همساً مكتوماً تصاحبه ضوضاء الهواء. وفي الأسئلة الختامية، تبني Drama 3 بنفسها تصاعداً تدريجياً في النبرة حتى يتهدّج الصوت. عند temperature=0.8، تتفاوت مدة التسجيل بين 40,5 و44,0 ثانية، لكن لم تظهر هلوسات أو كلمات مبتلعة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…