ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملHabr AI→ المصدر

Whisper يفهم 454 مصطلحًا تقنيًا أفضل من GigaAM، رغم أن GigaAM يخطئ أقل في الكلمات

تتعثر المهام الصوتية لوكلاء الذكاء الاصطناعي عند المصطلحات: عبارة «наш прод» تتحول إلى «на шпрот»، فيبحث الوكيل عن الكود الخطأ. قارن المؤلف بين نماذج التعرف على الكلام GigaAM وT-one وWhisper على 1000 تسجيل (20,3 ساعة) تتضمن 454 مصطلحًا. يسجل GigaAM قيمة WER أقل، أي نسبة أقل من الكلمات الخاطئة، لكن Whisper يكتب المصطلحات التقنية بدقة أكبر. لذلك ينبغي قياس المصطلحات بشكل منفصل وعلى تسجيلاتك أنت.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Whisper يفهم 454 مصطلحًا تقنيًا أفضل من GigaAM، رغم أن GigaAM يخطئ أقل في الكلمات
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
الاختبار على المعالج CPU7 متحدثين، 18 ألف صيغة كلمة، منها 454 مصطلحًا
حقيقة رئيسية #2تساوي قيمة WER يخفي أخطاء مثل «tmux»←«Teams» وفقدان «не запускай» (لا تشغّل)
حقيقة رئيسية #3GigaAM وT-one سريعان على CPU، بينما يعمل Whisper بدون GPU بوتيرة أبطأ بكثير

تخيّل أنك تملي مهمة على وكيل ذكاء اصطناعي وتقول «наш прод»، فيكتبها نظام التعرف على الكلام (ASR) «на шпрот». سيذهب الوكيل بإخلاص يبحث عن شيء يخص المعلبات، ويهدر التوكنات، وقد يُجري commit خاطئًا. قرر مؤلف «مصنع البرمجيات المظلم»، الذي ينجز معظم عمل التطوير فيه بصوته، أن يختبر أي نماذج التعرف تتعامل بشكل أفضل مع الكلام التقني: النموذج الروسي GigaAM، وT-one، وWhisper من OpenAI. جاءت النتيجة غير متوقعة. بحسب WER (معدل الخطأ في الكلمات، أي نسبة الكلمات التي يجب استبدالها أو حذفها أو إدراجها للحصول على النص المرجعي) يتفوق GigaAM. أما مصطلحات تكنولوجيا المعلومات فينقلها Whisper بدقة أكبر.

كيف جرى القياس

تألفت مجموعة الاختبار من 1000 تسجيل صوتي بمدة إجمالية 20,3 ساعة، ويشارك فيها 7 متحدثين. تعود معظم التسجيلات إلى المؤلف نفسه، لكنه أضاف بودكاستات تقنية من مصادر مفتوحة كي لا يصبح المقياس «شخصيًا». الكلام مألوف للمطوّر: روسية محكية ممزوجة بكلمات إنجليزية وحشو لفظي وعبارات نابية.

من بين نحو 18 ألف صيغة كلمة فريدة، اختار المؤلف 454 مصطلحًا ووسم كلًا منها في الصوت. عملت جميع النماذج على المعالج CPU فقط (AMD Ryzen 5 3600 وحوالي 63 غيغابايت من الذاكرة) ودون بطاقة رسوميات. أُجري تشغيل واحد، وحُسبت الجودة قياسًا إلى الوسم المرجعي.

تتعدد المقاييس. يبيّن WER وCER نسبة الأخطاء على مستوى الكلمات والأحرف، وكلما قلّت كان أفضل. وبالنسبة للمصطلحات، حُسب التطابق التام مع صيغة الكتابة المطلوبة، إضافة إلى صيغة أكثر تساهلًا تُحتسب فيها «backend» و«бэкенд» معًا. وهذا مهم لأن بعض النماذج تكتب بالأحرف السيريلية فقط ولا تُخرج الاسم الإنجليزي، حتى لو سمعته بشكل صحيح. وقيس كذلك RTF: زمن التعرف مقسومًا على مدة الصوت.

ما النتيجة

من حيث السرعة على CPU يتقدم GigaAM وT-one بوضوح، بينما يعمل Whisper دون مسرّع ببطء. لكن في «مصنع» لا تتطلب مهامه ردًا خلال ثوانٍ، يعدّ المؤلف RTF حقلًا مرجعيًا لا معيارًا للاختيار.

في WER العام فاز GigaAM، وهو نموذج قوي للغة الروسية. أما في المصطلحات فيتخلف عن Whisper بوضوح. وهكذا ينشأ مفترق طرق: نموذج يكتب النص العادي بدقة، وآخر ينقل بصورة أفضل أسماء الخدمات والبروتوكولات والمكتبات. لا يتضمن نص المنشور جدول الأرقام نفسه، ولذلك لا نورد هنا الفروق الدقيقة بين النماذج.

لماذا يضلل WER

تكلّف كل عملية في WER وحدة واحدة، ولذلك قد يكون لنسختين مكتوبتين النسبة نفسها من الأخطاء وعواقب مختلفة. عبارة «Открой сессию тмукс» بدل tmux، وعبارة «Открой сессию Teams»، وفقدان «не» في «не запускай автоматически» (لا تشغّل تلقائيًا) تعطي الرقم نفسه. الخطأ الأول غير ضار، أما الأخير فقد يشغّل أمرًا لم يُطلب تشغيله.

وفضلًا عن ذلك، يذوب المصطلح القصير الحاسم في التسجيلات الطويلة داخل المقام العام. فـ WER لا يتجاهل الكلمات القصيرة، لكن إسهامها في الرقم النهائي ضئيل.

يقسّم المؤلف الأخطاء إلى مجموعتين. أخطاء مقبولة: «дашборд» و«dashboard» و«дашик». قد يتخذ الوكيل عند البحث في الكود خطوات زائدة، لكنه يصل إلى هدفه رغم ذلك. وأخطاء خطرة: حين تُسمع كلمة معقولة لكنها غريبة. تحولت «Precision» إلى «пресиджен»، وهنا لا تزال النية قابلة للاستعادة. أما تحوّل «recall» إلى «прикол» (نكتة) فلا يمكن استعادة نيته: فـ«прикол» لا تثير الشك ولها عدة معانٍ. والأسوأ تحوّل «наш прод» إلى «на шпрот».

من أين تأتي هذه الأخطاء

لا يتلقى النموذج حروفًا، بل log-mel-spectrogram، أي خريطة لكيفية تغيّر الصوت. لا توجد فيها مسافات، وعلى النموذج أن يخمّن حدود الكلمات. فالحرف الأخير «д» في «прод» يُنطق مهموسًا فيصير «т»، والكلام السريع يلصق الكلمات ببعضها، وإلى جانب ذلك تضجّ آلة القهوة.

تختلف كذلك طرائق تجميع النص. يستخدم GigaAM CTC وT-one تقنية CTC: في كل خطوة يقيّم النموذج العلامات بصورة مستقلة، بما فيها العلامة الخاصة blank («لا تُخرج شيئًا»)، ثم تُطوى التكرارات. وإذا غاب الحرف المطلوب عن المسار المختار، فلن تعيده عملية الطيّ. أما في GigaAM RNNT فتعتمد العلامة التالية أيضًا على العلامات التي صدرت بالفعل. ويكتب Whisper توكنًا تلو آخر وفق قاموس BPE: تشغل « backend» توكنًا واحدًا، أما «бэкенд» فتشغل أربعة. لكن زيادة التوكنات لا تعني زيادة الأخطاء: فـ«recall» تشغل توكنًا واحدًا، و«прикол» توكنين.

يحتفظ beam search بعدة احتمالات، لكنه لا يجعل النموذج أذكى. فإذا كانت السلسلة الخاطئة أرجح عنده من الصحيحة، فلن يصححها توسيع عرض الحزمة. وفي النهاية يخرج سطر واحد دون أي معلومات عن الاحتمالات التي استُبعدت.

ماذا نفعل بهذا

الخلاصة بسيطة لمن يبنون واجهات صوتية للوكلاء: لا تختاروا ASR بالاعتماد على WER وحده. اجمعوا قائمتكم الخاصة من المصطلحات، ووسموها في الصوت، وقيسوها على حدة، بما في ذلك دقة الكتابة التامة. جرّب المؤلف بالفعل معالجة لاحقة دون تغيير النماذج، لكن تفاصيلها لا ترد في الجزء المتاح من المنشور.

وينبغي أيضًا تذكّر القيود: تشغيل واحد، ومعظم الصوت يعود إلى شخص واحد، ودقة نقل النية لم تُقَس مباشرة في هذا المقياس. لكن كنموذج لقياس خاص بكم، يعدّ المثال جيدًا.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف جرى القياس؟

تألفت مجموعة الاختبار من 1000 تسجيل صوتي بمدة إجمالية 20,3 ساعة، ويشارك فيها 7 متحدثين. تعود معظم التسجيلات إلى المؤلف نفسه، لكنه أضاف بودكاستات تقنية من مصادر مفتوحة كي لا يصبح المقياس «شخصيًا». الكلام مألوف للمطوّر: روسية محكية ممزوجة بكلمات إنجليزية وحشو لفظي وعبارات نابية. من بين نحو 18 ألف صيغة كلمة فريدة، اختار المؤلف 454 مصطلحًا ووسم كلًا منها في الصوت. عملت جميع النماذج على المعالج CPU فقط (AMD Ryzen 5 3600 وحوالي 63 غيغابايت من الذاكرة) ودون بطاقة رسوميات.

ما أبرز التفاصيل حول ما النتيجة؟

من حيث السرعة على CPU يتقدم GigaAM وT-one بوضوح، بينما يعمل Whisper دون مسرّع ببطء. لكن في «مصنع» لا تتطلب مهامه ردًا خلال ثوانٍ، يعدّ المؤلف RTF حقلًا مرجعيًا لا معيارًا للاختيار. في WER العام فاز GigaAM، وهو نموذج قوي للغة الروسية. أما في المصطلحات فيتخلف عن Whisper بوضوح. وهكذا ينشأ مفترق طرق: نموذج يكتب النص العادي بدقة، وآخر ينقل بصورة أفضل أسماء الخدمات والبروتوكولات والمكتبات. لا يتضمن نص المنشور جدول الأرقام نفسه، ولذلك لا نورد هنا الفروق الدقيقة بين النماذج.

ما أبرز التفاصيل حول لماذا يضلل WER؟

تكلّف كل عملية في WER وحدة واحدة، ولذلك قد يكون لنسختين مكتوبتين النسبة نفسها من الأخطاء وعواقب مختلفة. عبارة «Открой сессию тмукс» بدل tmux، وعبارة «Открой сессию Teams»، وفقدان «не» في «не запускай автоматически» (لا تشغّل تلقائيًا) تعطي الرقم نفسه. الخطأ الأول غير ضار، أما الأخير فقد يشغّل أمرًا لم يُطلب تشغيله. وفضلًا عن ذلك، يذوب المصطلح القصير الحاسم في التسجيلات الطويلة داخل المقام العام. فـ WER لا يتجاهل الكلمات القصيرة، لكن إسهامها في الرقم النهائي ضئيل. يقسّم المؤلف الأخطاء إلى مجموعتين.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…