خواتم إلكترونية تترجم لغة الإشارة إلى نص باستخدام AI

الخواتم الإلكترونية المزودة بمستشعرات الحركة والذكاء الاصطناعي يمكنها ترجمة لغات الإشارة إلى نصوص — أظهر هذا للمرة الأولى علماء من جامعة يونسي.

لماذا فشلت المحاولات السابقة

لسنوات عديدة، حاول الباحثون إنشاء نظام عملي لترجمة لغة الإشارة. استخدم البعض الكاميرات والرؤية الحاسوبية، لكن هذا لم يعمل إلا في الظروف المضبوطة وغالباً ما فشل عند تغيير الإضاءة. طور آخرون قفازات ذكية مزودة بمستشعرات. ومع ذلك، كانت تتراكم فيها الحرارة والرطوبة، مما يسبب عدم الراحة، ولم تأخذ في الاعتبار الاختلافات الفردية في حجم اليد وطول الأصابع. كانت معظم المستشعرات تتطلب اتصالاً سلكياً بأجهزة الكمبيوتر، مما يقيد حركة اليد. حتى الإصدارات اللاسلكية كانت عادة تتصل عبر سلك بجهاز إرسال مركزي واحد.

سبع خواتم بدلاً من القفازات

طور العلماء بقيادة كي جون يو نهجاً جديداً: مجموعة من الخواتم الإلكترونية، يقوم كل منها بنقل معلومات الحركة عبر تقنية البلوتوث منخفض الطاقة. استخدام الخواتم بدلاً من القفازات سمح بوضع مرن للمستشعرات والأخذ بعين الاعتبار الاختلافات التشريحية الطبيعية بين الأشخاص. أعطت الاتصالات اللاسلكية اليدين حرية كاملة. كشف التحليل أن سبع أصابع تلعب الدور الأساسي في لغة الإشارة. لذلك استخدموا سبع خواتم بالضبط. كل واحد مزود بمقياس تسارع يتتبع كلاً من الأوضاع الثابتة والحركات. هذا حاسم لأن لغات الإشارة تجمع بين المواضع الثابتة والانتقالات الديناميكية بينها. أثناء التطوير، واجه النظام مشكلة في الموثوقية. كانت جهات الاتصال النحاسية المباشرة تنكسر عند الانحناء المتكرر. الحل: الانتقال إلى جهات اتصال بنمط ملتوٍ تتحمل آلاف الدورات.

يتعرف الذكاء الاصطناعي على الإشارات

طور الباحثون نظام التعلم العميق الذي يتعرف على الإشارات بعمومية مذهلة. تعلم النظام العمل ليس فقط مع شخصين من عينة التدريب، بل مع خمسة أشخاص جدد تماماً — دون تعديل لكل واحد. في التجارب، تعرف النظام على 100 كلمة من لغة الإشارة الأمريكية و100 كلمة من لغة الإشارة الدولية بدقة 88.3% و88.5% على التوالي. هذا قفزة هائلة للأمام: المحاولات السابقة كانت محدودة بأقل من 50 كلمة في المعجم. من المثير للإعجاب أيضاً أن النظام ترجم ليس فقط الكلمات الفردية، بل جملاً كاملة في الترجمة المستمرة للإشارات. هذا هو بالضبط ما هو مطلوب للمحادثة الطبيعية في الوقت الفعلي.

ما يعنيه هذا

الهدف على المدى الطويل هو دمج النظام في الهواتف الذكية دون معدات متخصصة. ستنقل الخواتم الإشارات إلى جهاز محمول، حيث سيتم ترجمتها تلقائياً في الوقت الفعلي. سيجعل هذا التكنولوجيا متاحة للتواصل اليومي. الخطوات التالية: توسيع النظام للعمل مع المزيد من الأشخاص، إضافة المزيد من الكلمات إلى المعجم، دعم لغة الإشارة الكورية والمتغيرات الإقليمية الأخرى. يخطط العلماء أيضاً لزيادة عمر البطارية من 12 ساعة الحالية إلى يوم كامل. نقطة مهمة: النظام الحالي يترجم فقط حركات اليد. التحدي الكبير التالي هو إضافة تعابير الوجه وحركات الشفاه والبنى المكانية التي تعتبر مهمة نحوياً في لغات الإشارة.