NVIDIA تطلق Nemotron 3.5 Transcribe: 40 لغة و100 ساعة من الصوت في 3 دقائق

نشرت NVIDIA نموذج Nemotron 3.5 Transcribe، وهو نموذج مفتوح لتحويل الكلام إلى نص. يدعم النموذج 40 لغة، ويترجم 31 لغة منها، ويستطيع فصل كلام المتحدثين في 13 لغة. من أصل نحو 34 مليار معامل، يُفعَّل لكل رمز (token) نحو 4.3 مليار فقط، ولذلك يتميز النموذج بالسرعة: فقد عالج على بطاقة RTX PRO 6000 واحدة 100 ساعة من التسجيلات في أقل من ثلاث دقائق. وأتاحت الشركة معه مجموعة البيانات Granary v2 التي تضم 463 ألف ساعة من الكلام.

اللغة الروسية تحصل على الحزمة الكاملة من المهام

تتوافر للروسية جميع المهام التي دربت NVIDIA النموذج عليها: التفريغ، والترجمة، وفصل الكلام بحسب المتحدثين، والتعامل مع الكلام المختلط الذي تتداخل فيه اللغات داخل التسجيل الواحد. وهذه الميزة الأخيرة مهمة في المكالمات الجماعية الواقعية، حيث تتداخل المصطلحات الروسية والإنجليزية، بينما تتعثر أنظمة ASR التقليدية كثيرًا في مثل هذه التسجيلات.

يقبل النموذج ملفات تصل مدتها إلى ساعة، ويضع علامات زمنية لكل كلمة. ويمكن توجيهه بتعليمات نصية، كأن تطلب منه تفريغ التسجيل وتسمية كل متحدث. وهناك أيضًا وضع للأسئلة حول محتوى الصوت، لكنه متاح للإنجليزية فقط. ولا يعالج النموذج البث المباشر، فهو مصمم للملفات الجاهزة.

Mamba والمحوّل ومزيج الخبراء

تتكون البنية من مشفّر للكلام ونموذج لغوي هجين، تتناوب فيه طبقات Mamba مع طبقات المحوّل (Transformer)، بينما تعمل بعض الكتل بنظام مزيج الخبراء (MoE). ومن هنا تأتي الفجوة بين 34 مليار معامل إجمالي و4.3 مليار معامل نشط. تحتاج الذاكرة إلى استيعاب جميع الأوزان، لكن الحوسبة المطلوبة لكل رمز تعادل ما يحتاجه نموذج أصغر بكثير.

ويظهر ذلك في تصنيف Artificial Analysis. سجل Nemotron 3.5 Transcribe هناك نسبة أخطاء بلغت 2.8%، وهي النسبة نفسها لمنافس يحتاج إلى عدد من المعاملات النشطة أكبر بنحو ست مرات. ومع تساوي الجودة، يأتي المكسب في تكلفة الاستدلال (inference).

الأرقام ومحتوى الحزمة

• اللغات: 40 للتفريغ، و31 للترجمة، و13 لفصل المتحدثين.
• مدة التسجيل: حتى ساعة واحدة، مع علامات زمنية لكل كلمة.
• المعاملات: 34 مليار إجمالًا، ونحو 4.3 مليار نشطة لكل رمز.
• البنية: مشفّر للكلام ونموذج لغوي هجين يجمع Mamba والمحوّل مع مزيج الخبراء.
• تصنيف Hugging Face المفتوح للتفريغ الصوتي: المركز الأول بين النماذج المفتوحة. بلغ متوسط معدل الخطأ في الكلمات 5.33% للإنجليزية، و4.62% للجزء متعدد اللغات، و10.98% للتسجيلات الطويلة.
• Artificial Analysis: نسبة أخطاء 2.8%.
• السرعة: 100 ساعة من الصوت في أقل من ثلاث دقائق على بطاقة RTX PRO 6000 واحدة، أي أسرع من الزمن الفعلي بأكثر من 2000 مرة.
• الترخيص: OpenMDW-1.1.
• مجموعة البيانات Granary v2: 463 ألف ساعة من الكلام بـ48 لغة، جُمعت من 16 مدونة مفتوحة.

يبيّن رقم 10.98% للتسجيلات الطويلة أين لا يزال هناك مجال للتحسين. فالساعة الصوتية التي تضم أصواتًا متعددة وضوضاء ما زالت تنتج أخطاء أكثر بنحو الضعف مقارنة بالمقاطع القصيرة.

وتستحق مجموعة البيانات وقفة منفصلة. نشرت NVIDIA الأوصاف وخط المعالجة، لكن الملفات الصوتية نفسها يجب تنزيلها بشكل منفصل، مع مراعاة تراخيص المدونات الأصلية. في المقابل، تحصل الفرق الأخرى على وصفة جاهزة لبناء مجموعة بيانات كهذه، ويمكنها إعادة إنتاجها أو تكييفها مع لغاتها.

لمن يناسب النموذج ولأي غرض

يناسب النموذج المعالجة الدفعية للأرشيفات: تسجيلات المكالمات، والبودكاست، والمحاضرات، والمقابلات. وستفيد العلامات الزمنية لكل كلمة وتمييز المتحدثين من يعدّون الترجمات النصية أو محاضر الاجتماعات. أما الفرق الناطقة بالروسية فتستفيد من دعم الكلام المختلط، بينما يتيح الترخيص المفتوح نشر كل شيء على خوادمها الخاصة، دون إرسال التسجيلات إلى API خارجي.

والقيود واضحة أيضًا. فالنموذج لا يصلح للمساعدات الصوتية ولا للترجمة النصية الفورية، لأنه لا يدعم البث المباشر (streaming). كما أن الأسئلة حول الصوت تعمل بالإنجليزية فقط. والأوزان والتقرير التقني والعرض التجريبي ومجموعة البيانات متاحة بالفعل على Hugging Face، ما يتيح اختبار الجودة على تسجيلاتك الخاصة فورًا، قبل دمج النموذج في أي منتج.