Des bagues électroniques traduisent la langue des signes en texte avec AI

Les anneaux électroniques équipés de capteurs de mouvement et d'intelligence artificielle peuvent traduire les langues des signes en texte — des scientifiques de l'Université Yonsei l'ont démontré pour la première fois.

Pourquoi les Tentatives Précédentes ont Échoué

Pendant de nombreuses années, les chercheurs ont tenté de créer un système pratique de traduction de la langue des signes. Certains ont utilisé des caméras et la vision par ordinateur, mais cela ne fonctionnait que dans des conditions contrôlées et échouait souvent lorsque l'éclairage changeait. D'autres ont développé des gants intelligents avec des capteurs. Cependant, ils accumulent la chaleur et l'humidité, causant de l'inconfort, et ne tenaient pas compte des différences individuelles dans la taille de la main et la longueur des doigts. La plupart des capteurs nécessitaient une connexion filaire aux ordinateurs, restreignant le mouvement des mains. Même les versions sans fil se connectaient généralement par fil à un unique transmetteur central.

Sept Anneaux au Lieu de Gants

Des scientifiques dirigés par Ki Jun Yu ont développé une nouvelle approche : un ensemble d'anneaux électroniques, chacun transmettant les informations de mouvement via Bluetooth Low Energy. L'utilisation d'anneaux au lieu de gants a permis un placement flexible des capteurs et la prise en compte des différences anatomiques naturelles entre les gens. La communication sans fil a donné aux mains une liberté totale.

L'analyse a révélé que sept doigts jouent le rôle principal dans la langue des signes. C'est pourquoi ils ont utilisé exactement sept anneaux. Chacun est équipé d'un accéléromètre qui suit à la fois les positions statiques et les mouvements.

C'est critique car les langues des signes combinent des positions statiques et des transitions dynamiques entre elles. Lors du développement, le système a rencontré un problème de fiabilité. Les contacts en cuivre directs se cassaient avec une flexion fréquente.

Solution : passer à des contacts avec un motif sinueux qui résistent à des milliers de cycles.

L'IA Reconnaît les Gestes

Les chercheurs ont développé un système d'apprentissage profond qui reconnaît les gestes avec une universalité frappante. Le système a appris à fonctionner non seulement avec deux personnes de l'échantillon d'entraînement, mais aussi avec cinq personnes complètement nouvelles — sans ajustement pour chacune. Dans les expériences, le système a reconnu 100 mots de la Langue des Signes Américaine et 100 mots de la Langue des Signes Internationale avec une précision de 88,3% et 88,5% respectivement.

C'est un énorme progrès : les tentatives précédentes se limitaient à moins de 50 mots dans le vocabulaire. C'est aussi impressionnant que le système ait traduit non seulement des mots individuels, mais des phrases complètes dans une traduction continue des gestes. C'est exactement ce qui est nécessaire pour une conversation naturelle en temps réel.

Ce que Cela Signifie

L'objectif à long terme est d'intégrer le système dans les smartphones sans équipement spécialisé. Les anneaux transmettraient les signaux à un appareil mobile, où ils seraient automatiquement traduits en temps réel. Cela rendra la technologie accessible pour la communication quotidienne.

Les prochaines étapes : élargir le système pour travailler avec plus de personnes, ajouter plus de mots au vocabulaire, soutenir la Langue des Signes Coréenne et d'autres variantes régionales. Les scientifiques prévoient également d'augmenter la durée de vie de la batterie des actuelles 12 heures à une journée entière. Un point important : le système actuel ne traduit que les mouvements des mains.

Le prochain grand défi est d'ajouter les expressions faciales, les mouvements des lèvres et les constructions spatiales qui sont grammaticalement importantes dans les langues des signes.