خواتم إلكترونية تترجم لغة الإشارة إلى نص بالذكاء الاصطناعي

يمكن للخواتم الإلكترونية المزوّدة بحساسات حركة والذكاء الاصطناعي ترجمة لغات الإشارة إلى نص، وهذه هي المرة الأولى التي يثبت فيها علماء جامعة يونسي (Yonsei) ذلك عملياً.

لماذا لم تنجح المحاولات السابقة

حاول الباحثون لسنوات طويلة بناء منظومة عملية لترجمة لغات الإشارة. اعتمد بعضهم على الكاميرات ورؤية الحاسوب، لكن هذا الأسلوب عمل فقط في ظروف خاضعة للتحكم، وكثيراً ما أخطأ عند تغيّر الإضاءة. وطوّر آخرون قفازات ذكية مزوّدة بحساسات. غير أنها كانت تحبس الحرارة والرطوبة وتسبب الإزعاج، ولم تراعِ الفروق الفردية في حجم اليد وطول الأصابع. كما احتاجت معظم الحساسات إلى اتصال سلكي بالحواسيب، مما قيّد حركة اليدين. وحتى النسخ اللاسلكية كانت في العادة موصولة بسلك إلى جهاز إرسال مركزي واحد.

سبعة خواتم بدل القفازات

طوّر العلماء بقيادة Ki Jun Yu نهجاً جديداً: مجموعة من الخواتم الإلكترونية، ينقل كل منها بيانات الحركة عبر Bluetooth Low Energy. أتاح استخدام الخواتم بدل القفازات توزيع الحساسات بمرونة ومراعاة الاختلافات الطبيعية في تشريح اليد من شخص إلى آخر. ومنح الاتصال اللاسلكي اليدين حرية كاملة.

وكشف التحليل أن سبعة أصابع تؤدي الدور الرئيسي في لغة الإشارة، ولذلك اعتمد الفريق سبعة خواتم بالضبط. وزُوّد كل خاتم بمقياس تسارع يتتبع الوضعيات الثابتة والحركات على حد سواء. وهذا أمر حاسم، لأن لغات الإشارة تجمع بين الوضعيات الثابتة والانتقالات الديناميكية بينها.

واجهت المنظومة أثناء التطوير مشكلة في الموثوقية. فقد كانت وصلات النحاس المباشرة تنكسر مع الانحناء المتكرر. وجاء الحل باعتماد وصلات بنمط متعرّج تتحمل آلاف دورات الانحناء.

الذكاء الاصطناعي يتعرّف على الإشارات

طوّر الباحثون منظومة تعلّم عميق تتعرّف على الإشارات بقدرة لافتة على التعميم. فقد تعلمت المنظومة العمل ليس فقط مع شخصين من عيّنة التدريب، بل أيضاً مع خمسة أشخاص جدد تماماً، ودون إعادة ضبط لكل مستخدم.

وفي التجارب، تعرّفت المنظومة على 100 كلمة من لغة الإشارة الأمريكية و100 كلمة من لغة الإشارة الدولية بدقة 88,3% و88,5% على التوالي. وهذه قفزة كبيرة إلى الأمام، إذ اقتصرت المحاولات السابقة على قاموس لا يتجاوز 50 كلمة.

ومن اللافت أيضاً أن المنظومة ترجمت لا الكلمات المنفردة فحسب، بل جملاً كاملة أثناء الترجمة المتواصلة للإشارات. وهذا بالضبط ما يلزم للعمل في الوقت الفعلي ضمن حوار طبيعي.

ماذا يعني ذلك

الهدف بعيد المدى هو دمج المنظومة في الهواتف الذكية دون معدات خاصة. فترسل الخواتم الإشارات إلى الجهاز المحمول، حيث تُترجم تلقائياً في الوقت الفعلي. وسيجعل ذلك التقنية في متناول التواصل اليومي.

أما الخطوات القريبة فتشمل توسيع المنظومة لتعمل مع عدد أكبر من الأشخاص، وإضافة مزيد من الكلمات إلى القاموس، ودعم لغة الإشارة الكورية وغيرها من الصيغ الإقليمية. ويخطط العلماء كذلك لزيادة مدة التشغيل المستقل من 12 ساعة حالياً إلى يوم كامل.

وثمة نقطة مهمة: المنظومة الحالية تترجم حركات اليدين فقط. أما التحدي الكبير التالي فهو إضافة تعابير الوجه وحركة الشفاه والتكوينات المكانية، وهي عناصر مهمة من الناحية النحوية في لغات الإشارة.