روبوتات الصوت المعتمدة على LLM تستعين بمصنّف Jev السريع: قرار في 200–500 مللي ثانية

يتحدث روبوت الصوت المعتمد على نموذج لغوي كبير (LLM) بطلاقة، لكنه يخطئ في التفاصيل الصغيرة أثناء المكالمات الحية. فهو يجد موعدًا شاغرًا ولا يحجزه للعميل. ويقاطع شخصًا يبحث عن كلمة فحسب.

وقد وصفت Voximplant، المنصة الروسية للأتمتة الصوتية وروبوتات الهاتف، طريقة هندسية لمعالجة ذلك: تنتزع نماذج تصنيف سريعة، مثل Jev من شركة TypeSafe، القرارات البسيطة من LLM. وقد أُتيح Jev في الوصول المبكر في سبتمبر 2026. يتلقى النموذج مقطعًا من النص المفرَّغ، وآخر عبارة قالها الروبوت، وخطوة السيناريو، إضافةً إلى عدة أسئلة.

ولا يولّد نصًا. وتأتي الإجابة بنية منمّطة: اختيار من بين خيارات، أو تقييم على مقياس قصير، أو احتمال «نعم» عن سؤال مباشر. وتتباين قياسات زمن الاستجابة.

ففي أحد القياسات استغرقت 35 سؤالًا نحو 170 مللي ثانية على اتصال مُهيّأ مسبقًا، وفي قياس آخر تراوح الزمن بين 332 و892 مللي ثانية. وتعلن TypeSafe أن الزمن يتراوح بين 70 و500 مللي ثانية.

لماذا لا يكفي نموذج واحد للمحادثة كلها

في 2022–2024 طوّرت Voximplant مصنّفها الخاص Avatar. كان يستخرج من العبارة النيّة (intent) وفق كتالوج قابل للضبط، ويحدد ما إذا كانت تتضمن بيانات منظّمة: تواريخ وأسماء وأرقامًا. ثم ظهرت LLM، وبدا أن المصنّف لم يعد ضروريًا.

لكن التجربة العملية نفت ذلك سريعًا. فالنماذج المتوسطة لم تحتمل موجّه (prompt) البدء الطويل، وبدأت تهلوس بعد عدة تغييرات في الموضوع. أما النماذج الغالية فإما أنها أخلّت باقتصاديات المشروع، وإما أنها أجابت ببطء شديد بالنسبة إلى الهاتف.

وكان بعض النماذج غير متاح في مناطق معينة. وبحسب خبرة Voximplant، التي تنفّذ عدة مئات من المشاريع التجارية سنويًا، يفوّت النموذج الواحد لحظة استدعاء الأداة، ويتجاوز نافذة السياق، ويحرق رموزًا (tokens) زائدة. لذلك يُبنى الروبوت من عدة أجزاء.

وعندما صدر Jev، كانت Voximplant تستبدل Avatar بمخطط يعتمد نموذجًا صغيرًا سريعًا.

ولا ينفرد Jev بهذه الفئة. فقد ظهرت إلى جانبه نماذج أخرى:

• Laya: بديل مجاني مفتوح المصدر بترخيص Apache 2.0.
• Clef من Cloudflare: نموذج مفتوح للقرارات فائقة السرعة داخل الأنظمة البرمجية.
• CMF من Cortiq: نموذج مفتوح بحجم 304,5 ميغابايت، يعمل في أجزاء من الثانية دون توليد رموز (tokens).
• Bespoke Nimble من Bespoke Labs: وصفة مفتوحة قائمة على Qwen3.5-9B مع تدريب إضافي بتقنية LoRA وفك ترميز مقيَّد.
• Kev من @jaredpalmer: بدأ بوصفه Kev-0.5B على أساس Qwen2.5-0.5B للتشغيل المحلي على الحواسيب المحمولة، وصار اليوم عائلة من النماذج.
• CLM-8B من ستانفورد وNvidia: يخزّن مؤقتًا الإجراءات المتكررة للوكلاء (agents)، وهو أسرع من Jev بحسب قياسات مؤلفيه.

خمس مهام تُسند إلى المصنّف

التوجيه بحسب المواضيع. وضع Piotr Zaczek المصنّف عند مدخل القائمة الصوتية. فهو يختار وكيلًا صغيرًا بموجّه قصير ومجموعة أدوات واحدة لموضوع واحد. واستغرق قرار تغيير الموضوع 0,5 ثانية بدلًا من قرابة 5 ثوانٍ عندما كان النموذج الكبير يتخذه، وانخفض استهلاك رموز (tokens) النموذج الغالي.

التحقق من الإجراءات. أبقى Giorgi Lomidze في المساعد الهاتفي Pocos للصالونات والاستوديوهات نموذج Gemini Live في دور النموذج الصوتي. وكل استدعاء للأداة يصدر عنه يمرّ أولًا على Jev بأسئلة من نوع «هل أكّد المشترك الإجراء؟» و«هل ودّع المشترك؟». والحدود كالتالي: تُعدّ الموافقة قوية من 0,9 وضعيفة دون 0,1، ويُعدّ الوداع قويًا من 0,75 (وفقط إذا لم يبدأ الشخص موضوعًا جديدًا). المبدأ: يقترح LLM، ويقيّم Jev، ويقرّر منطق العمل.

نهاية العبارة بحسب المعنى. تلتقط كاشفات صوتية الوقفة: في Voximplant هي Silero VAD وPipecat Smart Turn وكاتم الضوضاء Hush. ويضيف Jev فحصًا يستند إلى النص. فإذا قال الكاشف «انتهت العبارة» ورأى Jev فكرة مقطوعة، يلتزم الروبوت الصمت. والزمن المضاف نحو 250 مللي ثانية: قرابة 50 مللي ثانية للتعرف على الكلام و200 مللي ثانية للتصنيف. أما Supreet Tare من Taritas فيطرح سؤالًا واحدًا بعد 350 مللي ثانية من الصمت ويتلقى الجواب خلال 0,4 ثانية. بعد ذلك ينتظر الكود 1,7 ثانية عند «انتهى» الواثق (من 0,75)، و2,8 ثانية عند الشك، و4,5 ثانية إذا انقطعت العبارة عند «and» أو «but» أو فاصلة.

المقاطعات. يحصل Jay Albo على منصة Agora في استدعاء واحد (نحو 300 مللي ثانية) على أربعة احتمالات: هل أنهى الشخص فكرته، وهل يطلب الانتظار، وهل العبارة موجّهة إلى الروبوت، وهل يقاطع الروبوت أم يقول فقط «أها».

تعبئة الاستمارة. بنى Jason Stiles خطًا لعيادة خيالية على Twilio ConversationRelay مع Deepgram وElevenLabs. يُرسَل في كل دورة طلب واحد يضم 30–35 سؤالًا. ويستخرج الكود بنفسه من النص المفرَّغ المرشحين (أرقامًا لسنة الميلاد، وعبارات قصيرة للاسم)، ويختار Jev المرشح المناسب. ولا يستطيع Jev اختلاق تاريخ، وأي خطأ يأتي دائمًا من كلام المتصل. ويخالف كاتب المراجعة هذا النهج: فهناك طرق أكثر كفاءة لاستخراج البيانات.

إجابة غالية أم رخيصة

يقسّم Deepesh Jayal من Evalgent الإجابات إلى ثلاث فئات: قالب جاهز دون نموذج، ونموذج سريع للمعلومة القصيرة، ونموذج ثقيل للحالات الملتبسة أو الباهظة الكلفة عند الخطأ. وفي كل دورة يقرر Jev ما إذا كانت الإجابة الغالية لازمة. والقواعد كالتالي:

• تَرفع الثقة المنخفضة الدورة إلى فئة أعلى.
• لا تُرسَل الأسئلة ذات كلفة الخطأ العالية إلى الفئة الرخيصة، حتى لو كان المصنّف واثقًا.
• لا تُخفَّض الفئة في منتصف المكالمة: فالتوفير ضئيل، وقد يتضرر سياق النموذج الغالي.

ترتيب بناء السلسلة المتتالية

تقترح Voximplant التسلسل التالي: أولًا نهاية العبارة والمقاطعات، ثم التوجيه بحسب المواضيع، ثم تعبئة النماذج، ثم التحقق من الإجراءات المغيِّرة واختيار فئة النموذج. وسيتعيّن ضبط حدود الثقة لكل مشروع على حدة. والخلاصة العملية للمهندسين: كل ما يمكن اختزاله في سؤال «نعم/لا» أو اختيار من قائمة، فإسناده إلى نموذج سريع أرخص وأكثر موثوقية. ويبقى LLM الكبير حيث تلزم إجابة حيّة.