VK وجامعة HSE تطوران نموذج ذكاء اصطناعي خفيفًا لإزالة الضوضاء والصدى في الوقت الفعلي
طوّر المطوّر زاخار كوندوروف، بدعم من VK والمدرسة الهندسية الرياضية في جامعة HSE الوطنية للبحوث، نموذجًا خفيف الوزن يتولى إزالة الضوضاء وإزالة الصدى (dereverberation) من الصوت في آنٍ واحد وفي الوقت الفعلي، وبمعدل أخذ العينات الكامل البالغ 48 كيلوهرتز. تعالج معظم الحلول الحالية هاتين المهمتين كلًّا على حدة، ويضعف أداؤها مع الصوت بالنطاق الترددي الكامل (full-band). وهذا يعيق معالجة الكلام محليًا على الأجهزة الضعيفة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
طوّر المطوّر زاخار كوندوروف نموذجًا خفيف الوزن يحل في الوقت الفعلي مهمتي إزالة الضوضاء وإزالة الصدى (dereverberation) من الإشارة الصوتية معًا. جاء ذلك ضمن مشروع مشترك بين المدرسة الهندسية الرياضية في جامعة HSE الوطنية للبحوث وVK، بإشراف إيفان بيسكروفني، قائد فريق التقنيات الصوتية في VK Video.
لماذا هذه المهمة أصعب مما تبدو؟
تقتصر معظم الأبحاث في مجال تحسين الكلام (speech enhancement) على كبح الضوضاء فقط، مع أن البنى الحديثة تسمح بحل مهمة أعقد، هي إزالة الضوضاء والصدى معًا. ويعود السبب إلى اختلال في توجّهات القطاع: فعدد معايير القياس (benchmarks) والنماذج الجاهزة لكبح الضوضاء أكبر بكثير منه لمعالجة التشوهات الأخرى في الإشارة، ومنها الصدى، ولذلك لا يتوافر عمليًا ما تُقارَن به الحلول الجديدة.
- مؤلف المشروع هو زاخار كوندوروف، أحد المشاركين في المدرسة الهندسية الرياضية في جامعة HSE
- أُنجز العمل بالتعاون مع VK بإشراف إيفان بيسكروفني، قائد فريق التقنيات الصوتية في VK Video
- دُرّبت معظم الحلول الحالية على صوت بمعدل أخذ عينات 16 كيلوهرتز، وليس على صوت full-band بتردد 48 كيلوهرتز
- تُعالَج إزالة الضوضاء وإزالة الصدى اليوم في الغالب بالتتابع عبر شبكتين عصبيتين مختلفتين
ما الذي يضيفه نموذج full-band؟
يضيّق الاقتصار على 16 كيلوهرتز نطاق الترددات في الإشارة المعالَجة تضييقًا كبيرًا، إذ تُهمَل التوافقيات العليا للكلام وتفاصيل الصوت الدقيقة ببساطة. أما النموذج المدرَّب على صوت full-band بتردد 48 كيلوهرتز فيحتفظ بقدر أكبر بكثير من المعلومات الصوتية. وهذا مهم لخدمات الصوت مثل مكالمات الفيديو والبث المباشر، وهو المجال الذي يعمل فيه فريق VK Video.
وغالبًا ما تُحَل إزالة الضوضاء وإزالة الصدى اليوم بالتتابع: تزيل شبكة عصبية أولى الضوضاء الدخيلة، ثم تعالج شبكة ثانية الصدى ورنين الغرفة. وتستهلك هذه السلسلة ذاكرة ووقت معالجة أكثر من نموذج موحّد يتولى المهمتين معًا. ويتيح دمج المهمتين في بنية واحدة للأجهزة محدودة الموارد، كالهواتف الذكية والحواسيب المحمولة وسماعات الرأس، معالجة الكلام محليًا دون إرسال التدفق الصوتي إلى خادم. وهذا يخفف العبء عن البنية التحتية ويقلل زمن استجابة النظام.
ماذا يعني ذلك؟
يُظهر المشروع الوجهة التي تسير نحوها صناعة معالجة الكلام: بدلًا من سلسلة من الشبكات العصبية المتخصصة في مهام ضيقة، يظهر نموذج full-band واحد مدمج يمكن تشغيله مباشرة على جهاز المستخدم، دون تمرير الصوت عبر خادم لمجرد الحصول على صوت نقي في مكالمة أو بث.
أسئلة وأجوبة حول الخبر
لماذا هذه المهمة أصعب مما تبدو؟
تقتصر معظم الأبحاث في مجال تحسين الكلام (speech enhancement) على كبح الضوضاء فقط، مع أن البنى الحديثة تسمح بحل مهمة أعقد، هي إزالة الضوضاء والصدى معًا. ويعود السبب إلى اختلال في توجّهات القطاع: فعدد معايير القياس (benchmarks) والنماذج الجاهزة لكبح الضوضاء أكبر بكثير منه لمعالجة التشوهات الأخرى في الإشارة، ومنها الصدى، ولذلك لا يتوافر عمليًا ما تُقارَن به الحلول الجديدة. مؤلف المشروع هو زاخار كوندوروف، أحد المشاركين في المدرسة الهندسية الرياضية في جامعة HSE أُنجز العمل بالتعاون مع VK بإشراف إيفان بيسكروفني، قائد فريق التقنيات الصوتية في VK Video دُرّبت معظم الحلول الحالية عل
ما الذي يضيفه نموذج full-band؟
يضيّق الاقتصار على 16 كيلوهرتز نطاق الترددات في الإشارة المعالَجة تضييقًا كبيرًا، إذ تُهمَل التوافقيات العليا للكلام وتفاصيل الصوت الدقيقة ببساطة. أما النموذج المدرَّب على صوت full-band بتردد 48 كيلوهرتز فيحتفظ بقدر أكبر بكثير من المعلومات الصوتية. وهذا مهم لخدمات الصوت مثل مكالمات الفيديو والبث المباشر، وهو المجال الذي يعمل فيه فريق VK Video. وغالبًا ما تُحَل إزالة الضوضاء وإزالة الصدى اليوم بالتتابع: تزيل شبكة عصبية أولى الضوضاء الدخيلة، ثم تعالج شبكة ثانية الصدى ورنين الغرفة. وتستهلك هذه السلسلة ذاكرة ووقت معالجة أكثر من نموذج موحّد يتولى المهمتين معًا. ويتيح دمج المهمتي
ماذا يعني ذلك؟
يُظهر المشروع الوجهة التي تسير نحوها صناعة معالجة الكلام: بدلًا من سلسلة من الشبكات العصبية المتخصصة في مهام ضيقة، يظهر نموذج full-band واحد مدمج يمكن تشغيله مباشرة على جهاز المستخدم، دون تمرير الصوت عبر خادم لمجرد الحصول على صوت نقي في مكالمة أو بث.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.