Le baseline sur Bukva reconnaît les lettres de la dactylologie russe avec 83,6% de top-1 accuracy

Au workshop WSLP-2026 (Workshop on Sign Language Processing), organisé dans le cadre de la conférence EMNLP à Budapest, trois travaux sur la reconnaissance de la dactylologie ont été présentés. Il s'agit de l'alphabet manuel de la langue des signes russe (LSR). Le chiffre phare de cette sélection concerne le jeu de données Bukva : un baseline fondé sur les modèles légers TSM et MobileNetV2 affiche 83,6% de top-1 accuracy, c'est-à-dire que la bonne lettre figure en première réponse du modèle dans 83,6% des cas.

Les deux autres travaux sont HandReader, qui obtient 75,6 sur le benchmark ChicagoFSWild+, et le jeu de données Znaki, qui compte 37 252 vidéos. Les auteurs n'ont pas pu venir en personne : un collègue a apporté les posters et a lui-même répondu aux questions des visiteurs. Ils promettent de publier le code en accès libre.

Bukva : un alphabet ouvert de la LSR et un tuteur sur un CPU ordinaire

Bukva est le premier jeu de données ouvert pour la reconnaissance de l'alphabet dactylologique de la LSR. Il contient 3757 vidéos, 33 lettres dont 8 dynamiques (elles se signent par un mouvement de la main, et non par une posture statique) et 155 locuteurs de la langue.

Les auteurs ont construit leur baseline avec des composants légers : TSM (Temporal Shift Module, module de décalage temporel des caractéristiques) et MobileNetV2. Le résultat : 83,6% de top-1 accuracy. Le modèle fonctionne en temps réel sur un seul cœur d'un CPU milieu de gamme ; aucun GPU n'est nécessaire. Sur cette base, l'équipe a réalisé une démo de tuteur pour apprendre la dactylologie. Pour des applications éducatives sur des ordinateurs portables et des téléphones ordinaires, cette légèreté compte plus qu'une précision record.

HandReader : trois architectures et un résultat sur ChicagoFSWild+

Le deuxième travail, HandReader, décrit trois architectures pour la reconnaissance de la dactylologie :

• HandReader_RGB traite la vidéo standard et s'appuie sur un nouveau module, TSAM. Il gère des clips de longueur variable sans padding ni troncature : il ne complète pas les enregistrements courts avec des images vides et ne coupe pas les longs ;
• HandReader_KP repose sur un encodeur de points clés de la paume, et non sur les pixels ;
• HandReader_RGB+KP combine les deux modalités.

La famille de modèles établit l'état de l'art (SOTA) sur le benchmark étranger ChicagoFSWild+ (75,6). ChicagoFSWild et ChicagoFSWild+ sont des ensembles de vidéos de dactylologie américaine filmées en conditions ordinaires, et non en studio. Sur ChicagoFSWild, le modèle a obtenu le meilleur résultat parmi les modèles entraînés uniquement sur leur propre pré-entraînement, c'est-à-dire sans poids pré-entraînés externes. Le post n'indique pas quelle métrique se cache derrière la valeur 75,6 ; les conditions exactes de la comparaison sont donc à chercher dans l'article sur arXiv.

Znaki : dactylologie continue et noms propres

Le troisième travail passe des lettres isolées aux séquences complètes. Znaki est le premier jeu de données ouvert de dactylologie continue pour la LSR. Il compte 37 252 vidéos d'une durée totale de 35,4 heures et 1593 séquences uniques. Ce sont des noms propres répartis en 16 catégories. Le jeu de données a été enregistré par 68 locuteurs de la LSR, parmi lesquels des interprètes certifiés.

Les données ont été collectées par crowdsourcing : les participants ont été sélectionnés en deux étapes, puis le résultat a été vérifié par des experts.

Comme baselines, les auteurs ont pris des modèles adaptés à la langue des signes américaine (ASL). Ils atteignent jusqu'à 0,932 sur la métrique 1−CER (un moins le taux d'erreur de caractères) et 0,596 en sequence accuracy, la part des séquences reconnues en entier sans aucune erreur. Autrement dit, les modèles devinent la plupart des caractères, mais ne lisent une séquence entière sans faute que dans un peu plus de la moitié des cas.

Ce que cela apporte

Ensemble, les trois travaux offrent à la communauté russophone des données ouvertes, tant pour les lettres isolées que pour la dactylologie continue, ainsi que des baselines de comparaison. Les résultats ont toutefois des limites : la dactylologie n'est qu'une partie de la LSR et ne remplace pas la reconnaissance des signes à part entière ni de la grammaire, et toutes les métriques ont été obtenues sur des jeux de données précis. Quand les auteurs publieront le code promis, les développeurs pourront plus facilement vérifier les chiffres annoncés et créer leurs propres applications d'apprentissage et de traduction.