خط أساس على Bukva يتعرّف على حروف الهجاء الإصبعي الروسي بدقة top-1 accuracy تبلغ 83,6%

قُدّمت في ورشة WSLP-2026 (Workshop on Sign Language Processing) ضمن مؤتمر EMNLP في بودابست ثلاثة أعمال حول التعرّف على الهجاء الإصبعي، أي الأبجدية الإصبعية للغة الإشارة الروسية (RSL). ويتعلق الرقم الأبرز في هذه الأعمال بمجموعة بيانات Bukva: فقد سجّل خط أساس مبني على النموذجين الخفيفين TSM وMobileNetV2 دقة top-1 accuracy بلغت 83,6%، أي إن الحرف الصحيح كان أول إجابة للنموذج في 83,6% من الحالات. أما العملان الآخران فهما HandReader الذي حقق نتيجة 75,6 على المعيار ChicagoFSWild+، ومجموعة بيانات Znaki التي تضم 37 252 فيديو. ولم يتمكن المؤلفون من الحضور شخصيًا، فجلب زميل لهم الملصقات العلمية وأجاب بنفسه عن أسئلة الزوار. ويَعِد المؤلفون بإتاحة الشيفرة البرمجية للعامة.

Bukva: أبجدية مفتوحة للغة الإشارة الروسية ومدرّب يعمل على CPU عادي

تُعدّ Bukva أول مجموعة بيانات مفتوحة للتعرّف على الأبجدية الإصبعية للغة الإشارة الروسية. وتضم 3757 فيديو و33 حرفًا، منها 8 ديناميكية (تُؤدّى بحركة اليد لا بوضعية ثابتة)، و155 من الناطقين باللغة.

بنى المؤلفون خط الأساس من مكوّنات خفيفة: TSM (Temporal Shift Module، وحدة إزاحة الخصائص عبر الزمن) وMobileNetV2. وبلغت النتيجة دقة top-1 accuracy قدرها 83,6%. ويعمل النموذج في الزمن الحقيقي على نواة واحدة من معالج متوسط، ولا يحتاج إلى بطاقة رسوميات. وعلى هذا الأساس أنجز الفريق مدرّبًا تجريبيًا لتعلّم الهجاء الإصبعي. وفي التطبيقات التعليمية على الحواسيب المحمولة والهواتف العادية، تتقدّم هذه الخفّة في أهميتها على الدقة القياسية.

HandReader: ثلاث بنى ونتيجة على ChicagoFSWild+

يصف العمل الثاني، HandReader، ثلاث بنى للتعرّف على الهجاء الإصبعي:

• HandReader_RGB يعمل مع الفيديو العادي ويستخدم وحدة جديدة هي TSAM. وهو يعالج المقاطع ذات الأطوال المختلفة دون حشو (padding) أو اقتطاع، أي لا يُكمل المقاطع القصيرة بإطارات فارغة ولا يقصّ الطويلة؛
• HandReader_KP يعتمد على مرمّز لنقاط اليد المفتاحية بدلًا من البكسلات؛
• HandReader_RGB+KP يجمع بين الوسيطين.

وحققت هذه العائلة SOTA على المعيار الأجنبي ChicagoFSWild+ (75,6). وChicagoFSWild وChicagoFSWild+ مجموعتان من مقاطع الهجاء الإصبعي الأمريكي صُوّرت في ظروف عادية لا في استوديو. وعلى ChicagoFSWild أظهر النموذج أفضل نتيجة بين النماذج التي دُرّبت على pretrain خاص بها فقط، أي دون أوزان مدرّبة مسبقًا من مصادر خارجية. ولا يذكر المنشور أي مقياس يقف وراء القيمة 75,6، لذا ينبغي مراجعة الشروط الدقيقة للمقارنة في الورقة البحثية على arXiv.

Znaki: الهجاء الإصبعي المتواصل والأسماء العلم

ينتقل العمل الثالث من الحروف المنفردة إلى التسلسلات الكاملة. وZnaki هي أول مجموعة بيانات مفتوحة للهجاء الإصبعي المتواصل في لغة الإشارة الروسية. وتضم 37 252 فيديو بمدة إجمالية 35,4 ساعة و1593 تسلسلًا فريدًا، وهي أسماء علم من 16 فئة. وسجّل المجموعة 68 من الناطقين بلغة الإشارة الروسية، بينهم مترجمون معتمدون.

جُمعت البيانات عبر العمل الجماعي (crowdsourcing): اختير المنفّذون على مرحلتين، وراجع الخبراء النتيجة.

واعتمد المؤلفون كخطوط أساس نماذج مكيّفة للغة الإشارة الأمريكية (ASL). وتصل هذه النماذج إلى 0,932 وفق مقياس 1−CER (واحد ناقص نسبة الرموز الخاطئة)، وإلى 0,596 وفق sequence accuracy، وهي نسبة التسلسلات التي جرى التعرّف عليها كاملةً دون أخطاء. ويعني ذلك أن النماذج تخمّن معظم الرموز بشكل صحيح، لكنها لا تنجح في قراءة التسلسل كاملًا دون خطأ إلا في ما يزيد قليلًا على نصف الحالات.

ما الذي يضيفه ذلك

توفّر الأعمال الثلاثة معًا للاتجاه الناطق بالروسية بيانات مفتوحة عن الحروف المنفردة وعن الهجاء الإصبعي المتواصل، إضافةً إلى خطوط أساس للمقارنة. وللنتائج حدود: فالهجاء الإصبعي ليس سوى جزء من لغة الإشارة الروسية ولا يحلّ محل التعرّف على الإشارات الكاملة والقواعد النحوية، وجميع المقاييس مأخوذة من مجموعات بيانات بعينها. وعندما ينشر المؤلفون الشيفرة الموعودة، سيصبح أسهل على المطورين التحقق من الأرقام المعلنة وبناء تطبيقاتهم الخاصة للتعليم والترجمة.