اختبار للنماذج الحوارية: GPT Realtime وGemini يردّان تقريبًا عند كل وقفة

عند كل وقفة، يقرر النموذج الحواري ما إذا كان سيتكلم أم ينتظر. تقيس الاختبارات الحالية تحديد حدود الأدوار الكلامية أو الالتزام بالقواعد أو الإحصاءات المجمّعة، لكنها لا تقيس هذا القرار نفسه. قاس مؤلفو الورقة البحثية arXiv:2610.12802 هذا القرار مباشرة. وضعوا ست أنظمة تعمل في الزمن الحقيقي أمام 427 وقفة و482 نهاية دور كلامي من 176 محادثة غير مُعدّة مسبقًا في مجموعة بيانات Seamless Interaction. تردّ واجهات API السحابية (GPT Realtime وGemini 3.1 Flash Live وGrok Voice) تقريبًا عند كل وقفة. أما القدرة على الصمت فتتوافر في الغالب لدى النموذجين ثنائيي الاتجاه الكامل Moshi وPersonaPlex.

كيف صُمم الاختبار

زُوّد كل نظام بتاريخ المحادثة حتى نقطة محددة. ثم قورن ما يولّده النظام بما فعله الإنسان. هناك عدة مقاييس، ويجيب كل منها عن سؤال مختلف:

• هل يتكلم النموذج عند الوقفة، وبأي سرعة؛
• زمن التأخير وطول الرد وصياغته عند نهاية الدور الكلامي؛
• القدرة على الإجابة عن سؤال يخص الثواني الـ30–120 السابقة من المحادثة.

الفرق الرئيسي عن الاختبارات المعتادة أن المرجع هو السلوك الحي للمحاور. فالاختبار لا يستند إلى قاعدة مجردة من نوع «أي وقفة تتجاوز 700 مللي ثانية تعني أن بالإمكان الكلام».

من يدخل الحديث ومتى

تردّ الأنظمة السحابية تقريبًا عند كل وقفة، أيًّا كان كاشف نهاية الدور الكلامي المثبّت فيها. ولا يتغير مع الكاشف سوى زمن التأخير. فهو يبلغ نحو 1–4 ثوانٍ مع الكواشف القائمة على الصمت، ونحو 8 ثوانٍ مع الكشف الدلالي لنهاية الدور. أي أن وقوع كلام النموذج داخل الوقفة من عدمه يتحدد بالتوقيت وحده، فالنموذج لا يختار ما إذا كان الكلام مناسبًا أصلًا.

يتصرف النموذجان ثنائيا الاتجاه الكامل Moshi وPersonaPlex بشكل مختلف. فهما الوحيدان اللذان يلتزمان الصمت بانتظام، والوحيدان اللذان يتدخلان ضمن زمن رد الفعل البشري. كما أن ردود الأنظمة السحابية أطول من ردّ الإنسان نفسه.

ثمن حسن الأسلوب: الذاكرة

في الأسئلة عن المحادثة السابقة تنعكس الصورة. قُدّم التاريخ إلى الأنظمة السحابية نصًّا، وهي تتذكر 41–60% من الحقائق بحسب تقييم المحكّم Claude Opus 5.5. وتنخفض النتيجة عند المطابقة الصارمة للكلمات إلى 19–26%. أما النماذج ثنائية الاتجاه الكامل فتستمع إلى التاريخ بوصفه صوتًا، وتتذكر 17–22% من الحقائق بحسب المحكّم و12–15% بحسب المطابِق الصارم. وهكذا يتحقق الإيقاع الطبيعي حتى الآن على حساب الذاكرة، أما ذاكرة الأنظمة السحابية فمردّها إلى أنها لا تستمع أصلًا بل تقرأ.

ويجب أخذ شروط المقارنة في الحسبان. فصيغ الإدخال تختلف بين مجموعتي النماذج: نص في إحداهما وصوت في الأخرى. لذلك لا يمكن عزو الفجوة كلها إلى البنية المعمارية.

ينشر المؤلفون التصنيفات ونقاط الاختيار ومنصة الاختبار وكل مخرجات النماذج. ويمكن إعادة التحقق من النتائج وإضافة أنظمة جديدة إلى المقارنة.

إذا كنتم تبنون مساعدًا صوتيًا على واجهة API سحابية، فلا تكتفوا بمتوسط زمن التأخير. تحققوا مما إذا كان النظام قادرًا على الصمت عند وقفة يكون فيها الإنسان يفكر فحسب. فنوع كاشف نهاية الدور الكلامي يحدد المفاضلة: 1–4 ثوانٍ مع كاشف الصمت مقابل نحو 8 ثوانٍ مع الكاشف الدلالي. وإذا كانت ذاكرة المحادثة مهمة للمنتج، فالتاريخ النصي هو الأكثر موثوقية حاليًا. وإذا كان الإيقاع هو الأهم، فسيتعين النظر في النماذج ثنائية الاتجاه الكامل وقبول ضعف أكبر في استرجاع ما سبق من الحديث. ومجموعة البيانات ومنصة الاختبار المرفقتان بالإصدار مناسبتان لتشغيل منظومتكم الخاصة على وقفات حقيقية لا على وقفات اصطناعية.