smol-audio من Deep-unlearning: مجموعة دفاتر Colab لإعادة تدريب نماذج الصوت

أطلقت Deep-unlearning مشروع smol-audio، وهو مجموعة مفتوحة من دفاتر Jupyter للعمل العملي مع نماذج الصوت الحديثة مباشرة في Google Colab. صُمّم المشروع كمجموعة وصفات قابلة لإعادة الإنتاج، موجّهة إلى من لا يريد قراءة مراجعات نظرية، بل يريد إعادة تدريب نماذج ASR بسرعة، وتشغيل audio captioning، وفهم خطوط المعالجة (pipelines) متعددة الوسائط.

كيف يعمل smol-audio

الفكرة الرئيسية بسيطة: بدلًا من إطار عمل شامل جديد، بنى الفريق مستودعًا مسطّحًا من دفاتر مستقلة، يعالج كل منها مهمة واحدة محددة. وتعتمد جميع السيناريوهات على منظومة Hugging Face، أي transformers وdatasets وpeft وaccelerate، وهي مهيّأة للتشغيل دون إعداد محلي لوحدة GPU. تفتح Colab، وتربط بيئة التشغيل، فتحصل على نقطة انطلاق عملية، لا على مجموعة مقتطفات متفرقة من متتبّعات المشكلات (issue trackers). وهذا يجعل المشروع أقرب إلى كتاب وصفات هندسي (cookbook) منه إلى عرض توضيحي استعراضي.

ومن أبرز سماته الشفافية. فلا يخفي smol-audio حلقة التدريب (training loop) ولا إعداد البيانات خلف أغلفة برمجية مريحة، ولذلك يرى المهندس كيف تُبنى الدفعات (batches)، وأين تُحتسب دالة الخسارة (loss)، وما الذي يتغيّر بالضبط أثناء fine-tuning. وهو للمبتدئين مادة تعليمية، وللفرق ذات الخبرة قاعدة مناسبة للتكييف مع مجموعة بياناتها. وبحسب المؤلفين، تتسع معظم الوصفات لذاكرة Colab البالغة 16 ГБ (غيغابايت)، أي أنها لا تتطلب بنية تحتية مكلفة منذ الخطوة الأولى.

ما النماذج المتوفرة

تركّز المجموعة حاليًا في المقام الأول على إعادة تدريب نماذج ASR، لكنها لا تقتصر على التعرف على الكلام. فقد جُمعت في المستودع والمراجعة المرافقة له سيناريوهات لعدة معماريات تختلف اختلافًا ملحوظًا في بنيتها ومتطلبات تدريبها. وهذا مفيد تحديدًا: فبدلًا من توجيه عام من نوع «افعلها بأي طريقة»، يحصل المستخدم على قوالب عملية لفئة محددة من النماذج. ويخفض هذا الشكل عتبة الدخول حين تحتاج إلى اختبار فرضية بسرعة على مجموعتك الصوتية الخاصة.

• Whisper — التكيّف مع لغة جديدة أو مجال متخصص.
• Parakeet من NVIDIA — fine-tuning لنموذج CTC، بما في ذلك نسخة تعتمد LoRA.
• Voxtral من Mistral — ضبط ASR مع prompt masking لمعمارية قائمة على LLM.
• Granite Speech من IBM — مثال على fine-tuning لغوي على المدوّنة الإيطالية YODAS-Granary.
• Audio Flamingo 3 وPE-AV — مهام audio captioning، وتصنيف الفيديو بأسلوب zero-shot، والاسترجاع من الصوت إلى النص (audio-to-text retrieval).

الفرق بين هذه النماذج ليس شكليًا. فـ Whisper يعمل كنظام sequence-to-sequence ويولّد النسخ النصي رمزًا تلو الآخر. أما Parakeet فيعتمد نهج CTC، وهو عادةً أخف وأسرع في الاستدلال (inference)، لكنه يتطلب منطقًا مختلفًا لمواءمة إطارات الصوت مع النص. وVoxtral أقرب إلى فهم الكلام (speech understanding) القائم على LLM، ولذلك يصبح prompt masking حاسمًا فيه: يجب أن تُحتسب الخسارة على النص المفرَّغ لا على التعليمات النصية نفسها. كما تذكر المراجعة على حدة سيناريو لنموذج Dia-1.6B، مخصصًا لتحويل النص إلى كلام الحواري (TTS).

لماذا يهم المهندسين

أقوى ما في smol-audio ليس قائمة الأسماء اللامعة، بل توفير الوقت في الهندسة الروتينية. فحين يتبنّى فريق نموذجًا صوتيًا جديدًا، تذهب أسابيع كثيرة غالبًا لا في البحث، بل في أمور أساسية: بناء مجموعة البيانات بشكل صحيح، وتجنّب الخلط في المعالجة المسبقة (preprocessing)، واختيار نمط fine-tuning المناسب، وعدم الاصطدام بحدود ذاكرة GPU. وهنا يعرض المؤلفون مباشرةً fine-tuning الكامل والخيار الأخف عبر LoRA، وهو خيار بالغ الأهمية للنماذج الصوتية ومتعددة الوسائط الكبيرة.

ويظهر ذلك في السيناريوهات الأكثر تعقيدًا أيضًا. ففي Audio Flamingo 3 يبيّن المشروع كيفية إعادة تدريب النموذج على مهمة الوصف الصوتي، وهو أمر مفيد لإمكانية الوصول (accessibility) وفهرسة المحتوى والبحث في مكتبات الوسائط. أما مع PE-AV من Meta* فيعرض المشروع استدلالًا متعدد الوسائط بفضاء تضمينات (embeddings) مشترك للصوت والفيديو والنص: ويتيح هذا النهج تصنيف الفيديو بأسلوب zero-shot والبحث عبر الوسائط دون fine-tuning خاص بالمهمة. وبعبارة أخرى، فإن smol-audio مفيد لا لـ ASR وحدها، بل لمنظومة الذكاء الاصطناعي الصوتي والنماذج متعددة الوسائط عمومًا.

ماذا يعني ذلك

يحوّل smol-audio العمل مع الذكاء الاصطناعي الصوتي من مجموعة تجارب متفرقة إلى كتاب وصفات عملي واضح. وإذا استمر اتجاه المساعدات الصوتية والنماذج متعددة الوسائط والتكييف المحلي للغات، فقد تصبح مستودعات كهذه بنية تحتية أساسية لفرق ML: ليست بديلًا عن البحث العلمي، بل طريقًا قصيرًا من الفكرة إلى أول نموذج أولي يعمل.

*Meta مصنَّفة منظمة متطرفة ومحظورة في الاتحاد الروسي.