ElevenLabs تطلق Eleven Realtime: وكيل صوتي في نموذج واحد، و98,8% في Big Bench Audio

أطلقت ElevenLabs نموذج Eleven Realtime، وهو فئة جديدة من نماذج speech-to-speech التي تُجمَّع فيها وظائف الوكيل الصوتي كاملةً في نموذج واحد. في السابق، كان على المطوّر أن يختار على حدة مكوّن التعرف على الكلام، وكاشف النشاط الصوتي، ومنطق تبادل الأدوار في الحوار، والـ LLM، وتوليد الصوت، ثم يقضي أشهرًا في ضبط ذلك كله. أما الآن فهناك خياران: Eleven Realtime v1 Mini وv1 Max. وبحسب اختبارات Artificial Analysis المستقلة، يجيب Max إجابة صحيحة عن 98,8% من أسئلة Big Bench Audio الصوتية، ويبدأ الكلام في المتوسط بعد 0,57 ثانية.

وحدة واحدة بدل خمس

حجة ElevenLabs الرئيسية أن الوكيل الصوتي الطبيعي يتكوّن من قرارات صغيرة كثيرة: كم ينتظر بعد التوقف قبل الرد، وكيف يتصرف حين يقاطعه المستخدم، وكيف ينسجم الصوت مع الـ prompt والنموذج. في البنية التقليدية يقع كل قرار من هذه القرارات في مكوّن منفصل له إعداداته الخاصة، وتصبح نقاط الوصل بين المكوّنات المصدر الأول لفقدان الطبيعية. نماذج Realtime تتولى هذا العمل بنفسها. ومع ذلك، ما زال بالإمكان ضبط هذه المعايير يدويًا في منصة ElevenAgents.

يدعم النموذجان أكثر من 90 لغة، ويعملان مع أي صوت من أصوات مكتبة ElevenLabs البالغ عددها 17 000+.

• Eleven Realtime v1 Mini — محادثات طبيعية بتكلفة منخفضة. يناسب مساعدي الذكاء الاصطناعي والمعلّمين والشخصيات التفاعلية. وترى الشركة أنه كافٍ لمعظم السيناريوهات.
• Eleven Realtime v1 Max — للمهام المعقدة: دعم العملاء، وتأهيل العملاء المحتملين، والمسارات متعددة الخطوات التي يجب أن يلتزم فيها الوكيل بالإجراءات المعتمدة ويستدل خطوة بخطوة.

ماذا أظهرت الاختبارات المرجعية

جرى تمرير النموذجين بصورة مستقلة عبر ثلاثة اختبارات عامة: Big Bench Audio (الاستدلال في الوضع الصوتي)، وFull-Duplex-Bench (ديناميكية الحوار)، وSpeech Agent Arena (تفضيلات البشر ونجاح المهام).

• Big Bench Audio، 1000 سؤال صوتي: v1 Max — 98,8% إجابات صحيحة، v1 Mini — 75,9%.
• السرعة قبل بدء الرد: v1 Max — 0,57 ث، v1 Mini — 0,62 ث.
• Full-Duplex-Bench (التوقفات، وتبادل الأدوار، والمقاطعات، وإشارات التأكيد القصيرة): v1 Mini — 95,8%، v1 Max — 94,1%.
• Speech Agent Arena (مقارنة عمياء في محادثات حية): v1 Max — 998، v1 Mini — 988.
• المهام التي تتطلب استدعاء أدوات: أنجز v1 Max نسبة 87,1%، وv1 Mini — 60,3%.

وتبرز ElevenLabs بصورة منفصلة التوازن بين الدقة والسرعة. فعادةً تكون النماذج صاحبة أفضل نتيجة في Big Bench Audio هي الأبطأ في الرد، بينما تخسر النماذج الأسرع شيئًا من الدقة. أما Max، بحسب بيانات الاختبار، فيقع على حدود باريتو (Pareto frontier) على المحورين معًا، إذ يُعدّ من الأدق ومن الأسرع في آنٍ واحد. والفارق في استخدام الأدوات هو الأوضح. فإذا كان على الوكيل أن يدخل إلى نظام CRM، أو يحجز مواعيد، أو يتحقق من حالة طلب، فسيكون Mini بنسبة 60,3% خيارًا ضعيفًا، ولهذا تنصح الشركة باستخدام Max في السيناريوهات التي تعتمد بكثافة على استدعاء الدوال.

الانتقال من OpenAI Realtime API

أكثر خطوات ElevenLabs عملية هي التوافق مع OpenAI Realtime API. تعمل نقطة الاتصال عبر WebSocket وتتبع مواصفات OpenAI، ولذلك يصلح SDK الرسمي من OpenAI كما هو. ويُذكر في المثال الوارد في الوثائق العنوان wss://api.elevenlabs.io/v1/convai/realtime والنموذج eleven_realtime_v1_mini، ويُختار الصوت بمعامل مثل brian. وبالنسبة إلى من بنى تكاملًا بالفعل، يقتصر اختبار النموذج الجديد على تغيير العنوان واسم النموذج.

ثمة قيود. يعمل Realtime API عبر WebSocket فقط، ولذلك يتعيّن أولًا نقل التكاملات المبنية على WebRTC إلى WebSocket. كما يعمل هذا API بمعزل عن ElevenAgents، فلا تتوفر فيه القنوات ولا قاعدة المعرفة ولا غيرها من وظائف المنصة.

من أين نبدأ

إذا كان الهدف بيئة إنتاج، فتنصح الشركة بالمرور عبر ElevenAgents: إنشاء وكيل أو فتح وكيل موجود واختيار نموذج Realtime من القائمة المنسدلة. ويأتي معه كل ما يلزم للتشغيل: قنوات الاتصال الهاتفي والويب وWhatsApp وCCaaS، ومسارات العمل، وقاعدة المعرفة، وضوابط الحماية (guardrails)، والاختبار، والمراقبة.

عمليًا يبدو الاختيار هكذا. للمعلّم الصوتي أو شخصية اللعبة أو المساعد البسيط، يُستحسن البدء بـ Mini: فهو يتقدم في طبيعية الحوار على Full-Duplex-Bench ويكلّف أقل. أما لمراكز الاتصال وتأهيل العملاء المحتملين والسيناريوهات متعددة الخطوات التي تتطلب استدعاء أدوات، فالأفضل اعتماد Max. ومن لديه كود جاهز لـ OpenAI Realtime، فمن المجدي أن يجري اختبار A/B على حواراته الخاصة: يغيّر نقطة الاتصال والنموذج، ثم يقارن زمن التأخير ونسبة المهام المنجزة. وإذا كانت البنية مرتبطة بـ WebRTC، فينبغي تخصيص وقت مسبق للانتقال إلى WebSocket.