شبكة عصبية من KAIST تقرأ حركة الشفاه وتخطئ في 19,4% فقط من الكلمات
قراءة الشفاه مهمة صعبة: فالأحرف «p» و«b» و«m» تبدو شبه متطابقة، كما أن النماذج التقليدية تكتب الجملة من اليسار إلى اليمين ولا تستطيع تصحيح خطأ وقعت فيه مبكرًا. أما نموذج KAIST فيتعرف أولًا على الكلمات الواضحة مثل «BAGS» و«TRIP»، ثم يستعين بها للتمييز بين «PACK» و«BACK». ويخطئ النموذج في 19,4% من الكلمات، أي في كلمة تقريبًا من كل خمس، وهي أفضل نتيجة بين الطرق التي دُرّبت على LRS3 وحده. وإذا كان مطلع النص ملتبسًا، فالأجدى توليد الأجزاء الواثقة منه أولًا.
معالج بواسطة الذكاء الاصطناعي من TechXplore AI؛ بتحرير Hamidun News
تخيّل أنك تشاهد فيديو بلا صوت: شخص يحرّك شفتيه، وأنت تحاول أن تعرف هل قال «pack» أم «back». بالنسبة للكاميرا والشبكة العصبية، يكاد الفرق بين الكلمتين يختفي. وقد ابتكر باحثون من KAIST (المعهد الكوري المتقدم للعلوم والتكنولوجيا) طريقة للتعامل مع هذه المشكلة: يتعرف النموذج أولًا على الكلمات التي يثق بها، ثم يستخدمها لتخمين الكلمات المشكوك فيها. ونتيجة ذلك أن النظام يخطئ في 19,4% من الكلمات. وهذه هي نسبة الكلمات التي جرى التعرف عليها خطأً أو أُغفلت أو أُضيفت زيادةً، مقارنةً بالنص المرجعي. وببساطة، هذا يعني كلمة تقريبًا من كل خمس. ووفقًا للمؤلفين، هذا أفضل مؤشر بين الطرق التي تعتمد في التدريب الموسوم على مجموعة LRS3 وحدها.
لماذا يسهل الخطأ في قراءة الشفاه
تكمن المشكلة الرئيسية في أن أصواتًا مختلفة تبدو متشابهة على الشفاه. ففي الإنجليزية يصعب التمييز بين /p/ و/b/ و/m/ في غياب الصوت: إذ تتطابق «pack» و«back» في الفيديو تقريبًا. ويتغلب الإنسان على هذا بالاستعانة بالسياق. فإذا كان الحديث في نهاية الجملة عن الحقائب والسفر، فسيفهم أن المقصود «التعبئة» لا شيء متعلقًا بـ«الخلف».
أما النماذج المعتادة فلا تستطيع ذلك. فهي تولّد النص كلمة بكلمة من اليسار إلى اليمين، شأنها شأن الإكمال التلقائي في الهاتف. وإذا اختيرت الكلمة الأولى خطأً، يمتد الخطأ إلى ما بعدها، ولا يستطيع النموذج العودة لتصحيحها. وهكذا يصبح مطلع الجملة، وهو الجزء الأكثر التباسًا، الحلقة الأضعف في البنية كلها.
كيف يعمل نهج KAIST
استخدم فريق البروفيسور يونغ مان رو نموذجًا لغويًا انتشاريًا (DLLM). وتصميمه مختلف: تُعرض الجملة في البداية كمجموعة من المواضع الفارغة المقنَّعة، ويملؤها النموذج على عدة تمريرات. ولا يلزم أن يجري الملء من اليسار إلى اليمين.
وقد استفاد المؤلفون من هذه الخاصية. فالنموذج يحدد أولًا الكلمات التي يثق بها، أي تلك التي لا لبس في حركة الشفاه عندها. وفي المثال الوارد في البيان الصحفي هما «BAGS» و«TRIP». ثم يتخذ منهما نقطة ارتكاز، ويقرر بالاستناد إلى السياق من الجانبين ما الذي كان في الموضع المشكوك فيه: «PACK» لا «BACK». ومع كل خطوة يقل عدد المواضع غير المحسومة.
وقُسّم التدريب إلى مرحلتين. في الأولى يتعلم النموذج مطابقة حركات الشفاه في الفيديو مع النص. وفي الثانية يتعلم بصورة منفصلة تقدير طول الجملة. وعند التعرف، يقدّر النموذج استنادًا إلى مدة المقطع عدة أطوال معقولة، ويبني لكل طول جملة مرشحة خاصة به، ثم يختار الأفضل. ويعتمد الاختيار على مؤشرين: مدى احتمال هذا الطول، ومدى ثقة النموذج في كلماته.
ما الذي تحقق وأين تقف الحدود
دُرّب النموذج على LRS3، وتضم هذه المجموعة 433 ساعة من الفيديو مع نصوص مفرّغة دقيقة. ووفقًا للمؤلفين، فإن نسبة الكلمات الخاطئة البالغة 19,4% هي الأدنى بين الطرق التي تستخدم LRS3 وحده في الوسم. وهذا التحفظ مهم: فالمقارنة تجري ضمن حجم متواضع ومتساوٍ من البيانات الموسومة. أما الأنظمة المدرَّبة على مجموعات أكبر بكثير فلا تدخل في هذه المقارنة.
وثمة قيود أخرى. فهذا عمل بحثي نُشر كمسودة أولية (preprint) على arXiv، وليس منتجًا جاهزًا. ولا تتناول المادة سرعة العمل ولا حجم النموذج ولا سلوكه في ظروف التصوير السيئة (زاوية جانبية، إضاءة ضعيفة، فم مغطى). ويقرّ المؤلفون أنفسهم بأن النموذج ما زال ثقيلًا. وخطوتهم التالية هي تصغيره وخفض كلفة الحوسبة، لتشغيله على الأجهزة القابلة للارتداء والروبوتات دون إنترنت وفي الوقت الفعلي.
ما الذي يمكن أن يخرج به الممارس
ثمة سيناريوهان تطبيقيان. الأول تفريغ الكلام حيث يغطي عليه الضجيج، كما في المواقع الصناعية ذات الآلات الصاخبة. والثاني الأجهزة المساعدة للصم وضعاف السمع.
أما لمن يبنون أنظمة على النماذج اللغوية، فالدرس العام أنفع: يمكن أيضًا ضبط ترتيب التوليد. فإذا كانت في المهمة مواضع ملتبسة يوضحها السياق اللاحق في النص، فمن المجدي تجربة النماذج الانتشارية أو مخططات «الواثق أولًا ثم المشكوك فيه». ويقول رو نفسه إن التحكم المرن في ترتيب التوليد يزيل وحده القيد الجوهري المرتبط بالالتباس البصري. ولاختبار هذه الفرضية في بيئة الإنتاج، تلزم اختبارات مستقلة على بيانات أكثر تنوعًا، وقياسات للزمن المستغرق على عتاد حقيقي.
- 27 أكتوبر 2026KAIST تُعلّم نماذج VLM الانتشارية ألا تنظر إلى الصورة: 35% من الحسابات مقابل 99,6% من الجودة
- 27 أكتوبر 2026KAIST تستغني عن المعايرة في فك ترميز MoE وتُسرّع الكتل حتى 2,69 ضعف مقارنةً بـ vLLM
- 27 أكتوبر 2026Glas يعيد تدريب نموذج التعرف على الكلام GigaAM-v3: المصطلحات التقنية تُكتب صحيحة في 87% من الحالات بدل 44%
- 19 نوفمبر 2026Reson8 تطلق نموذجًا مفتوحًا لتمييز الكلام أصغر بـ60 مرة من نموذج NVIDIA: 7,86% أخطاء في الكلمات مقابل 7,78%
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا يسهل الخطأ في قراءة الشفاه؟
تكمن المشكلة الرئيسية في أن أصواتًا مختلفة تبدو متشابهة على الشفاه. ففي الإنجليزية يصعب التمييز بين /p/ و/b/ و/m/ في غياب الصوت: إذ تتطابق «pack» و«back» في الفيديو تقريبًا. ويتغلب الإنسان على هذا بالاستعانة بالسياق. فإذا كان الحديث في نهاية الجملة عن الحقائب والسفر، فسيفهم أن المقصود «التعبئة» لا شيء متعلقًا بـ«الخلف». أما النماذج المعتادة فلا تستطيع ذلك. فهي تولّد النص كلمة بكلمة من اليسار إلى اليمين، شأنها شأن الإكمال التلقائي في الهاتف.
ما أبرز التفاصيل حول كيف يعمل نهج KAIST؟
استخدم فريق البروفيسور يونغ مان رو نموذجًا لغويًا انتشاريًا (DLLM). وتصميمه مختلف: تُعرض الجملة في البداية كمجموعة من المواضع الفارغة المقنَّعة، ويملؤها النموذج على عدة تمريرات. ولا يلزم أن يجري الملء من اليسار إلى اليمين. وقد استفاد المؤلفون من هذه الخاصية. فالنموذج يحدد أولًا الكلمات التي يثق بها، أي تلك التي لا لبس في حركة الشفاه عندها. وفي المثال الوارد في البيان الصحفي هما «BAGS» و«TRIP». ثم يتخذ منهما نقطة ارتكاز، ويقرر بالاستناد إلى السياق من الجانبين ما الذي كان في الموضع المشكوك فيه: «PACK» لا «BACK».
ما أبرز التفاصيل حول ما الذي تحقق وأين تقف الحدود؟
دُرّب النموذج على LRS3، وتضم هذه المجموعة 433 ساعة من الفيديو مع نصوص مفرّغة دقيقة. ووفقًا للمؤلفين، فإن نسبة الكلمات الخاطئة البالغة 19,4% هي الأدنى بين الطرق التي تستخدم LRS3 وحده في الوسم. وهذا التحفظ مهم: فالمقارنة تجري ضمن حجم متواضع ومتساوٍ من البيانات الموسومة. أما الأنظمة المدرَّبة على مجموعات أكبر بكثير فلا تدخل في هذه المقارنة. وثمة قيود أخرى. فهذا عمل بحثي نُشر كمسودة أولية (preprint) على arXiv، وليس منتجًا جاهزًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.