نموذج اللغة الكبير كوحدة فك ترميز في التعرف على الكلام: تكييف شركة كونتور لمعمارية SALM من Nvidia لخدمة الهاتف باللغة الروسية

اعتمدت صناعة التعرف على الكلام (ASR) لعقود على نهج تعاقبي تسلسلي: يترجم نموذج صوتي أولاً المخطط الطيفي للصوت إلى احتمالات حروف، ثم يحاول نموذج لغوي تجميع نص ذي معنى من ذلك. والمشكلة أن المكوّن الأول يفقد معلومات صوتية بشكل غير قابل للاسترجاع لحظة التقطيع الرقمي (discretization)، ويتراكم الخطأ بعد ذلك عبر السلسلة. فالنموذج الصوتي لا يعرف السياق، وغالبًا ما يخلط بين الكلمات المتجانسة لفظيًا: في الروسية تُنطق كلمتا «кот» (قطة) و«код» (رمز) بشكل متماثل، ودون المعنى لا يمكن التمييز بين الكلمة التي قيلت فعلاً.

حاولت الصناعة حل هذه المشكلة بعدة طرق: فك ترميز متكامل (Beam Search مع نموذج لغوي صغير)، ومعماريات تراجعية ذاتيًا (RNN-T، TDT) تتعلّم من مجموعات بيانات ASR محدودة، ومعالجة الأخطاء عبر نموذج لغة كبير يعمل فوق النص الناتج — لكن كل ذلك بقي ضمن إطار النهج التعاقبي. وفي نهاية عام 2024، طرحت Nvidia معمارية مختلفة جذريًا: SALM (Speech Augmented Language Model)، التي حققت رقمًا قياسيًا جديدًا في لوحة الصدارة HuggingFace OpenASR. وقد شكّلت هذه المعمارية أساس نموذج Canary-Qwen-2.5B.

كيف تعمل SALM: نهج هجين بدلاً من النظام التعاقبي؟

بدلاً من خط أنابيب تسلسلي، تدمج SALM المُرمِّز الصوتي ونموذج اللغة الكبير في نظام واحد. يستخرج FastConformer سمات صوتية عميقة من الصوت الخام. يُسقط المُكيِّف (adapter) هذه التمثيلات المتجهة (embeddings) في فضاء الرموز الخاص بنموذج اللغة الكبير. وعندها لا يتعامل Qwen مع ذلك كحروف صارمة، بل كمحفّز ناعم (soft-prompt) — تدفّق متواصل من المعاني، متجاوزًا قاموسه المعجمي المعتاد. وتبقى الأوزان الأساسية لنموذج اللغة الكبير مجمّدة: فلا يُدرَّب إلا المُكيِّف وطبقات LoRA، وهو ما يمنع النسيان الكارثي ويسمح بإزالة LoRA لاستخدام Qwen بشكل مستقل في مهام نصية خالصة.

قرّرت كونتور اختبار مدى نجاح هذه المعمارية في بيئتها الخاصة: مكالمات الهاتف ومؤتمرات الفيديو باللغة الروسية في ظل نقص في البيانات المُصنَّفة. وكان المُرمِّز الصوتي هو نموذج FastConformer مفتوح المصدر، المُضبوط دقيقًا على بياناتهم. وبخصوص نموذج اللغة الكبير، تم اختبار حجمين من Qwen3 — 0.6B و1.7B — واختار الفريق النموذج الأثقل من أجل الجودة، على الرغم من المتطلبات الحوسبية الأعلى. وكانت هذه قصة تقليدية لنقل تقنيات متقدّمة (SOTA) إلى سياق واقعي بموازنة محدودة لتصنيف البيانات.

ثلاث مشكلات معمارية وحلولها

الهلوسات عند الحشو (padding). في البداية، اعتمد الفريق نهج Whisper: طول صوتي ثابت، حيث تُكمَّل العبارات القصيرة بالصمت على مستوى الموجة الصوتية الخام. وكان النموذج يبدأ في توليد محتوى عشوائي تمامًا في لحظات الصمت هذه، وهو ما كان يُضعف مقياس WER ويُبطئ عملية الاستدلال. وتبيّن أن الحل بسيط: التخلي عن حشو الصوت لصالح الحشو الكلاسيكي بالرموز في نهاية التسلسل. فاختفت الهلوسات.

الفجوة بين الطرائق (modality gap). يعمل النموذج اللغوي بقاموس معجمي ثابت (نحو 100 ألف رمز على سبيل الافتراض)، يرتبط كل رمز منها بمتجه ذي بُعد ثابت. أما المُرمِّز الصوتي، فيُولِّد متجهات ذات بُعد خاص به، تصف الصوتيات والخصائص الصوتية.

وحتى عند تطابق الأبعاد، فإن هذه الفضاءات متوافقة رياضيًا لكنها غريبة دلاليًا عن بعضها: فالمتجه الصادر عن المُرمِّز ليس سوى تشويش بالنسبة لنموذج اللغة الكبير ما لم يتم تدريبهما معًا. ويجب على المُكيِّف أن يُسقِط السمات الصوتية بحيث يتعامل معها نموذج اللغة الكبير كمحفّزات ناعمة (soft-prompts) أصلية. اختبرت كونتور ثلاث صيغ للمُكيِّف: مُدرك متعدد الطبقات (MLP من طبقتين)، ومُرمِّز Conformer لضغط التمثيلات الصوتية إضافيًا بمعامل 16 (بهدف معالجة سياق أطول)، وإسقاط خطي (Linear projection).

وتبيّن أن Conformer يحتوي على عدد كبير جدًا من المعاملات، في حين قدّم MLP دقة أفضل بقليل، لكن الفرق بين MLP والإسقاط الخطي كان ضئيلاً للغاية — وفي النهاية، اختار الفريق الخيار الأبسط.

النتيجة: تحقّق تحسّن في الجودة في مجال الهاتف باللغة الروسية دون التوفير في المُرمِّز الصوتي ودون الحاجة إلى كميات ضخمة من البيانات. وساعدت الرؤى المعمارية على تجنّب الأخطاء النموذجية الشائعة. ولا تستعجل كونتور حاليًا تطبيق هذا النهج في بيئة الإنتاج، لكنها تعتبر SALM اتجاهًا واعدًا لمواصلة تحسين مقياس WER في ظروف معقّدة من الكلام الروسي العفوي.