ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارMIT News→ المصدر

نماذج الذكاء الاصطناعي الصوتية تحصد درجات جيدة في الاختبارات حتى مع الضجيج العشوائي، بحسب MIT وIBM

في اختبارات الاختيار من متعدد، كثيرًا ما لا تستمع النماذج الصوتية إلى التسجيل، بل تخمّن الإجابة من النص. ومن الأمثلة التي ساقها فريق MIT وIBM سؤال عن الحيوان الذي يزأر، وخياراته «السنجاب المخطط، الأسد، التمساح الأمريكي، القرقف»، فيختار النموذج «الأسد» ببساطة. وإذا قُدِّم ضجيج عشوائي بدل التسجيل، تبقى الدرجات جيدة إلى حدّ ما. لذلك أضيفوا إلى اختبارات النماذج الصوتية حالات ضجيج وصمت: فإن لم تنخفض الدرجة، فالاختبار لا يقيس السمع.

معالج بواسطة الذكاء الاصطناعي من MIT News؛ بتحرير Hamidun News
نماذج الذكاء الاصطناعي الصوتية تحصد درجات جيدة في الاختبارات حتى مع الضجيج العشوائي، بحسب MIT وIBM
المصدر: MIT News. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMIT News ↗
رئيس التحرير
حقيقة رئيسية #1يستبدل IPLoc كلمة «طائرة» باسم «إليزابيث» كي يركّز النموذج على الصورة
مشروع MIT-IBM مستمر منذ سنواتوقد أصدر الفريق نحو عشرين ورقة بحثية
حقيقة رئيسية #3وسيتناول الفريق لاحقًا النماذج التي تستمع أثناء حديثها

تخيّلوا أنكم تختارون نموذجًا صوتيًا لمنتج صوتي وتنظرون إلى نتائجه في معايير الأداء. الدرجة مرتفعة، فهل يعني ذلك أن النموذج يفهم الصوت جيدًا؟ ليس بالضرورة. فقد اكتشف فريق مختبر MIT-IBM Computing Research Lab، الذي يقوده جيم غلاس، الباحث الأول في مختبر CSAIL في MIT، أن كثيرًا من النماذج الصوتية لا تستمع إلى التسجيل أصلًا في اختبارات الاختيار من متعدد. فهي تخمّن الإجابة الصحيحة من نص السؤال. وإذا قُدِّم لها ضجيج عشوائي بدل الصوت، تبقى نتائجها جيدة إلى حدّ ما.

نموذج «يستمع» بلا صوت

يدور الحديث عن نماذج قادرة على استقبال الصوت والاستدلال بشأنه. وأيسر طريقة لاختبارها غالبًا هي طرح سؤال مع عدة خيارات للإجابة. فهذا أرخص من تقييم الإجابات الحرّة. إذ إن الإجابة الحرّة تتطلب مراجعتها إما بشريًا، وهو مكلف وبطيء، وإما بنموذج لغوي آخر في دور الحكَم، وله نقاط ضعفه.

ويضرب غلاس مثالًا واضحًا. السؤال: أي حيوان يزأر في التسجيل؟ الخيارات: السنجاب المخطط، الأسد، التمساح الأمريكي، القرقف. لا ينصت النموذج إلى الصوت، بل يرى كلمة «الأسد» بين الخيارات فيختارها. وقد تأكد الباحثون من ذلك حين قدّموا ضجيجًا عشوائيًا بدل التسجيل. ظلّت النماذج تؤدي جيدًا إلى حدّ ما، ما يعني أنها اعتمدت على نص السؤال.

وفي ورقة OmniR1 اقترح الفريق طرقًا تجعل النموذج أكثر انتباهًا إلى الصوت وأقل اعتمادًا على التلميحات الواردة في السؤال. أما الخلاصة العملية لمن يقيّمون النماذج الصوتية: أضيفوا إلى الفحص حالات ضبط بالضجيج أو الصمت. فإذا لم تنخفض الدرجة تقريبًا، فاختباركم لا يقيس ما ينبغي قياسه. ومن المفيد أيضًا مقارنة النموذج على أنواع مختلفة من معايير الأداء، لا على معيار واحد.

المشكلة نفسها مع الصور

وتظهر منطقية مشابهة في العمل مع الصور. فقد بيّنت دراسة IPLoc أن حتى النماذج الحديثة مثل GPT-4o تجد صعوبة في تحديد موقع جسم بعينه في الصورة إذا أُعطيت أمثلة قليلة فقط. وابتكر المؤلفون تدريبًا قائمًا على استبدال الأسماء: فمثلًا استُبدلت كلمة «طائرة» باسم «إليزابيث». وبذلك لا يستطيع النموذج الاتكال على ما يعرفه مسبقًا عن الطائرات، فيضطر إلى التدقيق أكثر في السياق البصري.

وثمة فكرة أخرى: فقد يمتلك النموذج أحيانًا التمثيل الداخلي المطلوب، لكنه يضيع بعد التدريب الإضافي اللاحق. لذلك يُخصَّص جزء من العمل لـ«استعادة» هذه القدرات دون وسم جديد للبيانات.

كيف تعمل دون ميزانية ضخمة

يقرّ الفريق بأنه لا يملك الموارد لتدريب نموذج أساسي عملاق خاص به. لذلك يأخذ الباحثون نماذج مفتوحة ويكيّفونها بأساليب إشراف ضعيف تحتاج إلى بيانات موسومة أقل. ومن الأمثلة على ذلك التعلّم المعزَّز وقت الاستدلال (test-time reinforcement learning). وليس للمشروع نهج موحّد: فبحسب غلاس، «ألف زهرة تتفتح». وشارك في العمل أيضًا روجيريو فيريس وبراين كينغسبري وصامويل توماس من IBM Research، وهيلده كوهن من جامعة توبنغن.

وبدأ المشروع ببساطة: عُرضت على النموذج أزواج «صورة ووصف صوتي»، وأزواج غير متطابقة. وهكذا تعلّم النموذج بنفسه أن يربط نطق كلمة «منارة» بصورة منارة، دون نص. ثم أُضيف الفيديو والصوت العام: فصار النموذج يميّز أصوات الببغاوات والغيتارات الكهربائية والغيتارات الصوتية. وفي مرحلة لاحقة أُدخلت النماذج اللغوية الكبيرة. وخلال السنوات الماضية أصدر الفريق نحو عشرين ورقة مشتركة بارزة، وينشر معايير أداء مفتوحة.

ما التالي وما القيود

خلال العام المقبل سيحوّل الفريق تركيزه إلى أنظمة الحوار ثنائية الاتجاه الكامل (full-duplex). وهي نماذج تستمع أثناء حديثها، كما يفعل البشر، ولا تنتظر دورها. ويرى غلاس أن التخاطب مع مثل هذه النماذج الصوتية سيكون أكثر طبيعية. أما حاليًا فالنماذج المفتوحة من هذا النوع أدنى من النماذج اللغوية الكبيرة: فهي تملك مهارات التواصل الأساسية، لكنها تفتقر إلى فهم الزمن وإلى عمق المعرفة.

وثمة تحفظ مهم: فهذا حوار صحفي لا ورقة بحثية تتضمن جدول نتائج. وليس فيه أي أرقام عن مقدار تراجع الدرجة عند استخدام الضجيج. ومع ذلك، فالتحذير جدير بالاعتبار: النتيجة المرتفعة لنموذج صوتي في اختبار الاختيار من متعدد لا تثبت بعدُ أنه سمع شيئًا.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول نموذج «يستمع» بلا صوت؟

يدور الحديث عن نماذج قادرة على استقبال الصوت والاستدلال بشأنه. وأيسر طريقة لاختبارها غالبًا هي طرح سؤال مع عدة خيارات للإجابة. فهذا أرخص من تقييم الإجابات الحرّة. إذ إن الإجابة الحرّة تتطلب مراجعتها إما بشريًا، وهو مكلف وبطيء، وإما بنموذج لغوي آخر في دور الحكَم، وله نقاط ضعفه. ويضرب غلاس مثالًا واضحًا. السؤال: أي حيوان يزأر في التسجيل؟ الخيارات: السنجاب المخطط، الأسد، التمساح الأمريكي، القرقف. لا ينصت النموذج إلى الصوت، بل يرى كلمة «الأسد» بين الخيارات فيختارها.

ما أبرز التفاصيل حول المشكلة نفسها مع الصور؟

وتظهر منطقية مشابهة في العمل مع الصور. فقد بيّنت دراسة IPLoc أن حتى النماذج الحديثة مثل GPT-4o تجد صعوبة في تحديد موقع جسم بعينه في الصورة إذا أُعطيت أمثلة قليلة فقط. وابتكر المؤلفون تدريبًا قائمًا على استبدال الأسماء: فمثلًا استُبدلت كلمة «طائرة» باسم «إليزابيث». وبذلك لا يستطيع النموذج الاتكال على ما يعرفه مسبقًا عن الطائرات، فيضطر إلى التدقيق أكثر في السياق البصري. وثمة فكرة أخرى: فقد يمتلك النموذج أحيانًا التمثيل الداخلي المطلوب، لكنه يضيع بعد التدريب الإضافي اللاحق.

ما أبرز التفاصيل حول كيف تعمل دون ميزانية ضخمة؟

يقرّ الفريق بأنه لا يملك الموارد لتدريب نموذج أساسي عملاق خاص به. لذلك يأخذ الباحثون نماذج مفتوحة ويكيّفونها بأساليب إشراف ضعيف تحتاج إلى بيانات موسومة أقل. ومن الأمثلة على ذلك التعلّم المعزَّز وقت الاستدلال (test-time reinforcement learning). وليس للمشروع نهج موحّد: فبحسب غلاس، «ألف زهرة تتفتح». وشارك في العمل أيضًا روجيريو فيريس وبراين كينغسبري وصامويل توماس من IBM Research، وهيلده كوهن من جامعة توبنغن. وبدأ المشروع ببساطة: عُرضت على النموذج أزواج «صورة ووصف صوتي»، وأزواج غير متطابقة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…