«كريبتونيت» تعلّم GigaAM فهم الكلام الروسي-الإنجليزي: انخفاض WER بنسبة 13.6%

مشهد مألوف: في اجتماع عبر المكالمة يقول أحدهم «давайте посмотрим на pull request и сделаем deploy до вечера» (أي: «لنلقِ نظرة على pull request ونُنجز deploy قبل المساء»). الإنسان لن يلاحظ شيئًا غريبًا. أما نظام التعرف على الكلام فسيلاحظ: بعض النماذج تحوّل الكلمات الإنجليزية إلى خليط من الحروف اللاتينية، وبعضها يختار كلمات روسية قريبة صوتيًا، وبعضها يحذف المقطع غير المفهوم بصمت. والسبب أن ASR عادةً يحدد اللغة من العبارات الأولى ثم يتمسك بها.

على هذه المشكلة عمل مختبر الذكاء الاصطناعي في شركة «كريبتونيت». فقد ابتكر وصفة للتدريب الإضافي تضيف إلى النموذج دعم code-switch، أي تبديل اللغة أثناء الحديث نفسه. والوصفة مناسبة لـ Whisper وGigaAM ونماذج ASR الأخرى.

ما الذي فُعل بالضبط

اتخذ الفريق نموذج GigaAM Multilingual من Sber أساسًا. يتيح ترخيص MIT تعديل النموذج واستخدامه في المنتجات التجارية، لذلك يمكن اعتماد النتيجة في العمل دون تعقيدات قانونية.

الصعوبة الرئيسية أنه لا توجد تقريبًا مجموعات بيانات جاهزة يختلط فيها الكلام الروسي والإنجليزي داخل الجملة الواحدة. لذلك جمع الفريق البيانات بنفسه، بنحو 10 000 ساعة من الصوت. واستُخدم أسلوبان:

• دمج مقاطع بلغتين من تسجيلات حقيقية أحادية اللغة (YODAS وSova ومدونات أخرى)؛
• توليف جمل بتقنية TTS مع ترجمة جزئية، بحيث يُنطق جزء من الجملة بالروسية وجزء بالإنجليزية.

وأُضيفت KenLM بشكل منفصل، وهي مكتبة مفتوحة لنماذج لغوية سريعة قائمة على n-gram. تعمل في مرحلة فك الترميز: النموذج الصوتي يحدد ما يشبهه الصوت، والنموذج اللغوي يقيّم مدى معقولية تسلسل الكلمات. وبحسب المؤلفين، خفّضت KenLM نسبة الأخطاء عندما تختلط الأبجديات داخل الكلمة الواحدة. وهذا خلل معروف: كلمة «деплой» تتحول إلى شيء مثل «дepлoй» مع حروف لاتينية بداخلها.

ما النتيجة

في المعايير التي تتضمن تبديل اللغة انخفض WER في المتوسط بنسبة 13.6%. يعبّر WER عن نسبة الكلمات المعرَّف عليها خطأً، أي أن النموذج صار يخطئ بدرجة ملحوظة أقل في الكلام المختلط. كما أُجري اختبار تحكّم على الكلام أحادي اللغة: تحقق المؤلفون من أن الجودة لم تتراجع بعد التدريب الإضافي.

هناك أيضًا استنتاجات وسيطة. فحتى المدونات العادية أحادية اللغة تحسّن الجودة عند التدريب الإضافي لنموذج مفتوح. والبيانات الاصطناعية مع بيانات أحادية اللغة تخفض WER كذلك، لكنها لا تبلغ المستوى الأمثل. المطلوب هو خليط اللغات داخل الجمل تحديدًا ونموذج لغوي في مرحلة فك الترميز.

ماذا يمكن أن نفعل بذلك

إذا كنت تبني تفريغًا نصيًا للاجتماعات، أو تحليلًا لمكالمات الدعم، أو إدخالًا صوتيًا لجمهور دولي، فيمكنك أن تستفيد من هذا العمل في عدة أمور:

• كوّن مجموعة اختبار خاصة بك تتضمن code-switch من تسجيلاتك. فالمعايير العامة لن تُظهر كيف يتصرف النموذج مع مصطلحاتك المهنية.
• يمكن إنتاج البيانات الاصطناعية بتكلفة زهيدة: دمج مقاطع حقيقية وTTS مع ترجمة جزئية. إنها طريقة عملية للحصول على بيانات حيث لا توجد جاهزة.
• شغّل دائمًا اختبار انحدار على الكلام أحادي اللغة. فالتدريب على خليط اللغات يجب ألا يُفسد ما كان يعمل أصلًا.
• فكّر في نموذج لغوي n-gram في مرحلة فك الترميز. فـ KenLM قليلة التكلفة وتزيل جزءًا من الهجائن الغريبة للكلمات.

القيود

أُجريت التجربة على زوج «الروسية — الإنجليزية» فقط. يؤكد المؤلفون أن الوصفة عامة، لكن ذلك لم يُتحقق منه بعد للغات أخرى. ورقم 13.6% هو متوسط على معايير CS؛ ولا توجد في المادة قيم WER مطلقة ولا تفصيل حسب المجموعات، لذا عليك المقارنة بنفسك مع مهمتك. كما أن العملية ليست سريعة: على عنقود من أربع بطاقات NVIDIA L40S، لكل منها 48 غيغابايت من الذاكرة، يستغرق التدريب الإضافي من أسبوع إلى ثلاثة أسابيع بحسب حجم البيانات.

يريد الفريق لاحقًا العمل على Language Diarization، أي تقسيم التسجيل تلقائيًا إلى مقاطع حسب اللغة وتوجيهها دون إعادة تدريب ASR. وفي الخطط أيضًا نموذج مبني على Whisper V3 Large يدعم لغات كثيرة. وإذا نجحت هذه الخطط فسيصبح تطبيق النهج أسهل بكثير. أما الآن فهي وصفة عملية جيدة لمن يظهر في صوته بانتظام كلام إنجليزي وسط جملة روسية.