ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملХабр: Машинное обучение→ المصدر

رسالة صوتية مدتها 35 ثانية تتحول إلى نص في CRM خلال 9 ثوانٍ دون بطاقة رسومات

يرسل العملاء رسائل صوتية من قبيل «هل ما زالت هذه المجموعة متوفرة، وكم تبلغ كلفة التوصيل إلى سامارا؟»، ولا يستطيع المدير الاستماع إليها في ورشة صاخبة. لذلك يعرض نظام CRM للمبيعات عبر المراسلات نصًا تحت المشغّل الصوتي، يولّده Whisper small على خادم سحابي في روسيا بنواتين ودون بطاقة رسومات. تتحول الرسالة الصوتية البالغة 35 ثانية إلى نص في نحو 9 ثوانٍ، ولا يغادر الصوت إلى السحابات الأجنبية. ومع تدفق صغير من الرسائل، يمكن بهذه الطريقة الاستغناء عن واجهات API المدفوعة.

معالج بواسطة الذكاء الاصطناعي من Хабр: Машинное обучение؛ بتحرير Hamidun News
رسالة صوتية مدتها 35 ثانية تتحول إلى نص في CRM خلال 9 ثوانٍ دون بطاقة رسومات
المصدر: Хабр: Машинное обучение. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليХабр: Машинное обучение ↗
رئيس التحرير
حقيقة رئيسية #1كان التكميم بصيغة int8 والفك الجشِع للترميز (greedy decoding) صاحب الأثر الأكبر في السرعة على المعالج
حقيقة رئيسية #2تعطّلت مكتبة PyAV مع بعض ملفات ogg وm4a وmp3، لذلك يتولى ffmpeg فك ترميز الصوت
حقيقة رئيسية #3تأخذ مهمة cron مرة كل دقيقة ما يصل إلى 5 رسائل صوتية، مع 3 محاولات لكل ملف

يحب عملاء المتاجر الإلكترونية الرسائل الصوتية: «مرحبًا، هل ما زالت هذه المجموعة متوفرة، وكم تبلغ كلفة التوصيل إلى سامارا؟». يحتاج المدير إلى الاستماع إلى مثل هذه الرسالة، وهذا غير مريح في ورشة صاخبة أو أثناء اجتماع عبر الإنترنت. قرر فريق CRM للمبيعات عبر المراسلات أن يعرض نصًا جاهزًا تحت المشغّل الصوتي. تجري عملية النسخ كلها على خادم سحابي عادي في روسيا بنواتين معالجتين ودون بطاقة رسومات: تتحول رسالة صوتية مدتها 35 ثانية إلى نص في نحو 9 ثوانٍ، أي أسرع بنحو 4 مرات من مدة التسجيل نفسه. ولا حاجة في المقابل إلى الدفع لخدمات التعرف السحابية على الكلام مقابل دقائق الصوت، كما لا يغادر صوت العميل خوادم الشركة.

لماذا لم يعتمدوا حلًا جاهزًا

كانت الفكرة الأولى استخدام النسخ المدمج في تطبيق المراسلة نفسه. تقدّم VKontakte هذه الميزة: يصل في استجابة API حقل نصي مع المرفق. لكن هذا الحقل ظل فارغًا في رسائل المجتمعات حتى بعد مرور عدة أيام. أما MAX وTelegram وWhatsApp، المتصلة عبر خدمة وسيطة، فلا توفر أي نسخ نصي إطلاقًا.

واستُبعدت خدمات التعرف السحابية لسبب آخر. فالرسالة الصوتية للعميل بيانات شخصية، ولم يرغب الفريق في إرسالها إلى خوادم أجنبية. لذلك يجب أن يعمل كل شيء على خوادم الشركة داخل روسيا، ولا تُحفظ الملفات في أي مكان.

ما الذي يعمل تحت الغطاء

اختير faster-whisper للتعرف على الكلام، وهو تنفيذ لنموذج Whisper على CTranslate2 أسرع بوضوح من النسخة الأصلية على معالج عادي. واعتُمدت نسخة النموذج small. تخطئ هذه النسخة في كلمات متفرقة عند الكلام الروسي العفوي، لكنها تنقل المعنى بثقة، وهذا كل ما يحتاجه المدير.

نُقل التعرف على الكلام إلى جهاز منفصل كي لا يستهلك معالج نظام CRM نفسه. وجاءت السرعة من أربعة إعدادات:

  • تكميم الأوزان (int8، أي تخزين أرقام النموذج في صورة مضغوطة): وهو الأثر الأكبر في السرعة على المعالج؛
  • الفك الجشِع بدلًا من البحث الشعاعي (beam search): الجودة تكاد لا تتغير في العبارات القصيرة؛
  • كاشف الصوت (VAD) يقتطع الصمت والوقفات، وهي كثيرة في الرسائل الصوتية؛
  • تحديد اللغة صراحةً دون اكتشاف تلقائي: فهذا أسرع ويقلل الأخطاء في التسجيلات القصيرة.

عقبات في فك ترميز الصوت

يستطيع faster-whisper فتح الملفات بنفسه عبر مكتبة PyAV، لكن ذلك تعطل مع الرسائل الصوتية القادمة من تطبيقات المراسلة. ففي بعض الملفات كانت PyAV تتوقف بخطأ في قراءة البيانات الوصفية، والصيغ الواردة متنوعة: ogg وm4a وmp3.

وكان الحل بسيطًا: إسناد فك الترميز إلى برنامج ffmpeg، وتمرير مصفوفة صوت جاهزة إلى النموذج، أحادية القناة بتردد 16 كيلوهرتز وبأعداد float32 بين −1 و1. عندها تفقد صيغة الملف الأصلي أهميتها.

بُني السكربت على مبدأ «stdin → stdout»: يدخل الصوت ويخرج النص. هو لا يعرف شيئًا عن CRM ولا عن تطبيقات المراسلة، ولا يُحفظ الملف على القرص. ويستدعيه الخادم الرئيسي بأمر واحد عبر curl وssh.

كيف دُمج ذلك في CRM

تُشغَّل على الخادم الرئيسي مهمة cron مرة كل دقيقة. وهي ملفوفة بـ flock: إذا كان التشغيل السابق ما يزال قائمًا فلا يبدأ التشغيل الجديد، ولا تتراكم الطوابير. ويحمي الأمر timeout بمدة 600 ثانية من تعليق ssh أو ffmpeg. وفي كل دورة تُعالج 5 رسائل صوتية على الأكثر، حتى لا يُغرق ارتفاع مفاجئ في عدد الرسائل خادم التعرف على الكلام.

تبحث المهمة عن الرسائل الصوتية الواردة خلال آخر يومين التي لا نص لها بعد، وتنزّل الصوت واحدة تلو الأخرى عبر رابط تطبيق المراسلة، وترسله إلى التعرف على الكلام، ثم تكتب النتيجة في مرفق الرسالة. تعرض واجهة CRM النص تحت المشغّل الصوتي، وفي قائمة المحادثات تظهر عبارة «🎤 مرحبًا، هل ما زالت هذه المجموعة…» بدلًا من «رسالة صوتية».

ويُحتسب لكل رسالة عدّاد محاولات: إذا كان الملف تالفًا أو انتهت صلاحية الرابط، لا تُعالج الرسالة مرة أخرى بعد ثلاث إخفاقات. ونافذة اليومين تمنع المهمة من مراجعة تاريخ المراسلات كله في كل تشغيل. يظهر النص بعد نحو دقيقة من وصول الرسالة الصوتية: أي المدة حتى التشغيل التالي مضافًا إليها بضع ثوانٍ للتعرف على الكلام.

القيود والخلاصة

عيب هذا المخطط، بصراحة، أن النموذج يُحمَّل عند كل استدعاء. هذا مقبول مع تدفق صغير من الرسائل الصوتية، لكن عند الأحمال الكبيرة ينبغي تحويل السكربت إلى خدمة تعمل باستمرار مع طابور. كما أن جودة small على الكلام العفوي ليست مثالية: تتشوّه بعض الكلمات.

والوصفة لمن يريد تكرار التجربة: استخدموا faster-whisper بصيغة int8 على المعالج، وفكّوا ترميز الصوت عبر ffmpeg لا عبر PyAV، ولا تحتفظوا بالملفات، فهي ليست لازمة للنسخ. وهذا مثال للشركات الصغيرة والمتوسطة على معالجة مهمة تتعلق بالبيانات الشخصية دون بطاقة رسومات ودون الدفع مقابل دقائق الصوت.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لم يعتمدوا حلًا جاهزًا؟

كانت الفكرة الأولى استخدام النسخ المدمج في تطبيق المراسلة نفسه. تقدّم VKontakte هذه الميزة: يصل في استجابة API حقل نصي مع المرفق. لكن هذا الحقل ظل فارغًا في رسائل المجتمعات حتى بعد مرور عدة أيام. أما MAX وTelegram وWhatsApp، المتصلة عبر خدمة وسيطة، فلا توفر أي نسخ نصي إطلاقًا. واستُبعدت خدمات التعرف السحابية لسبب آخر. فالرسالة الصوتية للعميل بيانات شخصية، ولم يرغب الفريق في إرسالها إلى خوادم أجنبية. لذلك يجب أن يعمل كل شيء على خوادم الشركة داخل روسيا، ولا تُحفظ الملفات في أي مكان.

ما أبرز التفاصيل حول ما الذي يعمل تحت الغطاء؟

اختير faster-whisper للتعرف على الكلام، وهو تنفيذ لنموذج Whisper على CTranslate2 أسرع بوضوح من النسخة الأصلية على معالج عادي. واعتُمدت نسخة النموذج small. تخطئ هذه النسخة في كلمات متفرقة عند الكلام الروسي العفوي، لكنها تنقل المعنى بثقة، وهذا كل ما يحتاجه المدير. نُقل التعرف على الكلام إلى جهاز منفصل كي لا يستهلك معالج نظام CRM نفسه.

ما أبرز التفاصيل حول عقبات في فك ترميز الصوت؟

يستطيع faster-whisper فتح الملفات بنفسه عبر مكتبة PyAV، لكن ذلك تعطل مع الرسائل الصوتية القادمة من تطبيقات المراسلة. ففي بعض الملفات كانت PyAV تتوقف بخطأ في قراءة البيانات الوصفية، والصيغ الواردة متنوعة: ogg وm4a وmp3. وكان الحل بسيطًا: إسناد فك الترميز إلى برنامج ffmpeg، وتمرير مصفوفة صوت جاهزة إلى النموذج، أحادية القناة بتردد 16 كيلوهرتز وبأعداد float32 بين −1 و1. عندها تفقد صيغة الملف الأصلي أهميتها. بُني السكربت على مبدأ «stdin → stdout»: يدخل الصوت ويخرج النص.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…