الشبكة العصبية للكلام تعمل مثل النصية: دراسة من Apple

أثبتت Apple ML Research أن الشبكات العصبية الخاصة بالكلام تتوسع بقدر من القابلية للتنبؤ يماثل النماذج النصية، وذلك بفضل مقياس pJSD الجديد، مع أن أنظمة الكلام لا تزال أدنى من النصية من حيث الجودة.

لماذا تتأخر نماذج الكلام عن النماذج النصية

لا تزال نماذج اللغة التي تعمل مباشرةً مع الصوت دون تمثيل نصي وسيط، وتُعرف بنماذج speech-only SLM، أدنى بكثير من الأنظمة النصية والمتعددة الوسائط. ويبدو هذا مفارقة: فالواجهات الصوتية مطلوبة، وبيانات الصوت متوفرة بكثرة، ومع ذلك يسير التقدم ببطء.

يقوم النهج السائد، وهو نماذج SLM المنفصلة ذاتية الانحدار (AR SLM)، بتحويل الإشارة الصوتية المستمرة أولًا إلى رموز منفصلة، على غرار ما تفعله النماذج النصية مع الكلمات. تكمن المشكلة في أن الكلام يختلف في بنيته جوهريًا عن اللغة المكتوبة: فالتحويل إلى رموز منفصلة يُفقد حتمًا تفاصيل صوتية تحمل دلالات معنوية. ولتعويض هذه الخسائر، تتطلب نماذج AR موارد حسابية هائلة ومجموعات بيانات تدريب ضخمة، ما يجعلها مكلفة وصعبة التوسع.

كيف يتجاوز الانتشار المستمر هذه القيود

يقترح الانتشار المستمر (CD) نهجًا مختلفًا جذريًا: العمل مباشرةً مع التمثيلات المستمرة للإشارة الصوتية، وتجاوز التحويل إلى رموز منفصلة تجاوزًا كاملًا. وهذا يزيل فقدان المعلومات عند المدخلات، ومن المحتمل أن يجعل التدريب أكثر كفاءة.

غير أن سؤالًا محوريًا ظل مطروحًا: هل تخضع نماذج CD لقوانين التوسع؟ فهذه القوانين هي أساس نماذج اللغة الكبيرة الحديثة، إذ تتنبأ بكيفية نمو الجودة مع زيادة عدد المعاملات وحجم البيانات. وبدون توسع يمكن التنبؤ به، يصبح ضخّ موارد كبيرة في البنية المعمارية محفوفًا بالمخاطر: فلا ضمان بأن تؤتي الاستثمارات ثمارها.

درست Apple نوعَي المقاييس. وفيما يلي أبرز الاستنتاجات:

• تُظهر نماذج CD SLM قوانين توسع واضحة فيما يخص الخسائر على مجموعة التحقق
• ينخفض مقياس pJSD (الجودة اللغوية) بصورة يمكن التنبؤ بها مع زيادة القدرة الحسابية
• جرى تحديد النسبة المثلى بين عدد الرموز وعدد المعاملات، وهي النظير الكلامي لقانون تشينشيلا في نماذج LLM النصية
• يتطابق نمط توسع نماذج CD إلى حد بعيد مع سلوك نماذج AR

لماذا نحتاج إلى مقياس pJSD الجديد

تقيس المقاييس القياسية، وفي مقدمتها الخسائر (loss)، دقة إعادة إنتاج توزيع بيانات التدريب، لكنها لا تعكس إلا بصورة ضعيفة مدى ثراء كلام النموذج من الناحية اللغوية. وقد قدّمت Apple مقياس phoneme Jensen-Shannon divergence (pJSD).

يحسب هذا المقياس التباعد بين توزيع الفونيمات في الكلام الذي يولّده النموذج وفي الكلام البشري الحقيقي. وكلما اقتربت القيمة من الصفر، كان الكلام أقرب إلى «الكلام البشري» بالمعنى اللغوي. والأهم أن pJSD قابل للتطبيق على كلتا البنيتين، AR وCD، ما يتيح مقارنة صحيحة بين نهجين مختلفين جذريًا على مقياس موحّد.

«لتقييم الجودة اللغوية لنماذج اللغة الكلامية كميًا، نقدّم مقياس pJSD، أي تباعد ينسن-شانون على مستوى الفونيمات»، كما جاء في ورقة

Apple ML Research.

ماذا يعني ذلك

تزيل دراسة Apple عدم يقين محوريًا في مجال الذكاء الاصطناعي الكلامي: فالانتشار المستمر يتوسع بصورة يمكن التنبؤ بها، وهو قابل للمقارنة بالنهج ذاتي الانحدار. وهذا يمنح الباحثين والشركات مبررًا للاستثمار طويل الأمد في بنية CD. وقد تتمكن أنظمة الذكاء الاصطناعي الكلامية من الجيل الجديد من العمل دون نص وسيط، ما قد يجعل التفاعل الصوتي أكثر طبيعية وأعلى كفاءة حسابية.

ما هي الشبكة العصبية للكلام؟

هي نموذج لغوي يعمل مباشرةً مع الصوت دون تمثيل نصي وسيط، أي نموذج لغة كلامي (speech-only SLM).