ServiceNow تطلق EVA: إطار عمل جديد لتقييم وكلاء الذكاء الاصطناعي الصوتيين

قدّمت ServiceNow إطار العمل EVA للتقييم الشامل (end-to-end) لوكلاء الذكاء الاصطناعي الصوتيين. ولا يكتفي الإطار بقياس إنجاز المهمة، بل يحاول قياس مدى ملاءمة المحادثة للمستخدم أيضًا. ونُشر المشروع في مدونة Hugging Face بتاريخ 24 مارس 2026، مع مجموعة بيانات مفتوحة وشيفرة برمجية ونتائج أولى لـ20 نظامًا.

لماذا لا تكفي الاختبارات القديمة؟

معظم الاختبارات المعيارية الحالية للذكاء الاصطناعي الصوتي تفحص أجزاء النظام كلًّا على حدة: التعرف على الكلام، وجودة التركيب الصوتي، وتوقيت العبارات، والقدرة على استدعاء الأدوات. وهذا لا يكفي عمليًا. فالمستخدم لا يتحدث إلى STT أو TTS أو LLM منفصلة، بل إلى وكيل واحد يجب أن يفهم الطلب، ولا يفقد السياق، ويستدعي الأدوات بشكل صحيح، ويُنهي المهمة دون ارتباك في حوار حي.

ولهذا يقترح مؤلفو EVA النظر إلى الوكيل الصوتي بوصفه منتجًا متكاملًا. ففي سيناريو المكالمة الهاتفية، يكفي خطأ صغير ليُفسد التجربة كلها: رمز تأكيد يُسمع بشكل خاطئ يُبطل منطق النموذج الجيد، وقائمة طويلة من الخيارات يصعب استيعابها بالأذن، وأي توقف زائد يدفع المستخدم إلى إعادة السؤال أو ترك المحادثة. والمقاييس القديمة كثيرًا ما لا تلتقط هذه الإخفاقات، لأنها تقيّم المكوّنات بمعزل عن بعضها وخارج سيناريو الاستخدام الكامل.

كيف يعمل EVA؟

صُمم EVA كاختبار شامل (end-to-end) لمحادثة صوتية متعددة الخطوات. يحاكي النظام مكالمة حقيقية بين الوكيل الصوتي وبوت يؤدي دور المستخدم، ويتصرف وفق هدف ودور محددين. وعلى الوكيل استخدام الأدوات، والالتزام بقواعد السيناريو، والوصول إلى حالة نهائية قابلة للتحقق. وفي النسخة الأولى أصدر المؤلفون مجموعة بيانات اصطناعية في مجال الطيران تضم 50 سيناريو و15 أداة، تشمل إعادة حجز الرحلات، والإلغاءات، وقوائم standby، وقسائم الركاب.

• يحدد محاكي المستخدم هدف المتصل وسلوكه وأسلوب كلامه
• يخوض الوكيل الصوتي الاختبار في تدفق صوتي حقيقي
• ينفّذ منفّذ الأدوات استجابات حتمية ويغيّر حالة قاعدة بيانات السيناريو
• تستبعد أدوات التحقق (validators) التشغيلات ذات الجودة الرديئة دون تصنيف يدوي
• تحلل مجموعة المقاييس تسجيل المحادثة والنص المفرَّغ وسجلات استدعاءات الأدوات (tool calls)

يعتمد EVA تقييمين نهائيين رئيسيين. EVA-A يقيس الدقة: هل وصل الوكيل إلى النتيجة الصحيحة، وهل اخترع سياسة غير موجودة، وهل حرّف كيانات مهمة مثل رقم الرحلة أو المبلغ. أما EVA-X فيقيس تجربة المستخدم: هل كان الرد قصيرًا بما يكفي للقناة الصوتية، وهل تقدّمت المحادثة دون تكرار، وهل تحدث الوكيل في اللحظة المناسبة. ويحتسب المؤلفون أيضًا pass@3 وpass^3، لرصد ثبات السلوك عبر عدة محاولات في السيناريو نفسه، وليس أفضل تشغيل فقط.

ماذا أظهرت الاختبارات؟

اختبر الفريق عبر EVA عشرين نظامًا، بعضها مملوك وبعضها مفتوح المصدر، وبعضها متسلسل (cascaded) وبعضها audio-native. وخرج بنتيجة رئيسية: هناك تبادل مستمر بين الدقة وجودة المحادثة، ولا توجد أي إعدادات تتفوق على المحورين معًا. بعض الوكلاء ينجزون المهمة بشكل أفضل لكن محادثتهم أقل راحة، وآخرون يبدون أكثر لطفًا لكنهم يخطئون أكثر في الخطوات الحرجة وفي السيناريوهات الطويلة متعددة الجولات. وهذا يجعل المقارنة بين النماذج أكثر إنصافًا بوضوح من نموذج النجاح/الفشل الثنائي المعتاد.

«الوكلاء الأكثر نجاحًا في إنجاز المهمة غالبًا ما يقدمون تجربة مستخدم

أسوأ، والعكس صحيح».

ويرتبط إخفاق لافت آخر بالكيانات المسماة. فحرف واحد يُتعرَّف عليه خطأً في رمز التأكيد أو رقم الرحلة قد يُفشل المصادقة وينهار معه السيناريو بأكمله. ويشير المؤلفون بشكل منفصل إلى أن العمليات متعددة الخطوات تبدو الأصعب، كأن يُطلب إعادة حجز رحلة مع الحفاظ في الوقت نفسه على خدمات إضافية مثل الأمتعة والمقاعد. كما تبيّن أن الفجوة بين pass@3 وpass^3 كبيرة لدى كثير من الأنظمة: فقد يحل الوكيل المهمة مرة واحدة، لكنه لا يفعل ذلك بثبات.

ومن المهم أيضًا أن الإصدار الحالي لا يزال مقتصرًا على سيناريوهات إنجليزية في مجال الطيران، لذلك يعتزم الفريق التوسع لاحقًا إلى ظروف الضوضاء واللهجات واللغات الأخرى ومجالات جديدة.

ماذا يعني هذا؟

يتحول سوق الوكلاء الصوتيين من العروض التوضيحية الجذابة إلى فحص هندسي أكثر صرامة. وإذا ترسّخ EVA أو أطر مشابهة، فلن تكون الغلبة للأنظمة التي تبدو طبيعية فحسب، بل لتلك التي تجمع بين الدقة والإيجاز، وتقود المحادثة إلى نتيجتها بصورة قابلة للتكرار في سيناريوهات واقعية، لا في تشغيلات فردية ناجحة فقط. وهذا تحوّل مهم بشكل خاص لعمليات النشر المؤسسية.