النصوص المفرغة متعددة اللغات والتقطير المعرفي يساعدان الذكاء الاصطناعي على تحديد المشاعر في الكلام بدقة أكبر

اقترحت مجموعة من الباحثين طريقة متعددة الوسائط لتحليل المشاعر في الكلام. تدمج الطريقة الصوت مع نصوص مفرغة متعددة اللغات مولّدة آليًا عبر محوّلات عابرة الوسائط (cross-modal transformers)، وتتيح كذلك نقل هذه المعرفة بالتقطير المعرفي إلى نموذج صوتي لا يحتاج إلى نصوص مفرغة. نُشرت الورقة البحثية على arXiv في 7 يوليو 2026.

لماذا يصعب تحديد المشاعر في الكلام

يتطلب التعرف الآلي على المشاعر في الكلام، سواء كانت إيجابية أو سلبية، تحليل نبرة الصوت وتفسير الكلمات المنطوقة في الوقت نفسه. وتعتمد الحلول الحالية عادةً على النماذج الصوتية وحدها (audio foundation models)، ولا يزال من غير الواضح ما إذا كانت تأخذ الجانبين في الاعتبار معًا.

كيف تعمل الطريقة المقترحة

دمج المؤلفون المعلومات الصوتية والنصية عبر محوّلات عابرة الوسائط. تُنشأ النصوص المفرغة تلقائيًا بأداة التعرف على الكلام (ASR)، ثم تُترجم إلى عدة لغات بالترجمة الآلية، فتتكوّن بذلك وسائط نصية متعددة.

• تُدمج الخصائص الصوتية والنصية متعددة اللغات في بنية متتالية من كتل المحوّلات عابرة الوسائط، تدمج الوسائط واحدة تلو الأخرى
• تُنقل معرفة النموذج متعدد الوسائط («المعلّم») بالتقطير المعرفي إلى نموذج صوتي أحادي الوسيط («الطالب»)
• أظهرت التجارب على مجموعة بيانات واسعة النطاق أن المعلومات النصية المولّدة آليًا تحقق تحسنًا ملحوظًا في دقة تصنيف المشاعر
• أكدت دراسة الاستئصال (ablation study) أن النصوص المفرغة الآلية والترجمات الآلية مفيدة كلتاهما
• يمكن تحسين النموذج الصوتي بالتقطير المعرفي دون أي حمل حسابي إضافي في مرحلة الاستدلال (inference)

وقد أُتيح الكود اللازم لإعادة إنتاج النتائج للعموم على GitHub.

ماذا يعني ذلك

تُظهر الطريقة أن النصوص المفرغة متعددة اللغات المولّدة آليًا مفيدة لتحليل المشاعر في الكلام، حتى عندما لا يعتمد النموذج النهائي إلا على الصوت. ويعني ذلك أن أنظمة كهذه يمكن استخدامها حيث لا يتوفر النص المفرغ أثناء الاستدلال، كما في المعالجة الفورية، مع الحفاظ على الجودة «الموروثة» من النموذج متعدد الوسائط الأثقل.

الأسئلة الشائعة

لماذا نحتاج إلى ترجمات النص المفرغ إلى لغات أخرى إذا كان النموذج يفهم

لغة التسجيل أصلًا؟ وفقًا لدراسة الاستئصال التي أجراها المؤلفون، تحقق الترجمات الآلية للنصوص المفرغة إلى عدة لغات، إلى جانب النصوص المفرغة نفسها، تحسنًا إضافيًا في دقة تصنيف المشاعر، إذ تبيّن أن المصدرين كليهما مفيد.

هل يحتاج النموذج إلى نص أثناء الاستخدام الفعلي؟

لا. بفضل التقطير المعرفي من «المعلّم» متعدد الوسائط إلى «الطالب» الصوتي، يحدد النموذج النهائي المشاعر في الكلام من الصوت وحده، دون نصوص مفرغة ودون حمل حسابي إضافي.