Unos anillos electrónicos traducen la lengua de signos a texto con inteligencia artificial

Unos anillos electrónicos con sensores de movimiento e inteligencia artificial pueden traducir lenguas de signos a texto. Científicos de la Universidad Yonsei son los primeros en demostrarlo.

Por qué fracasaron los intentos anteriores

Durante años, los investigadores han intentado crear un sistema práctico de traducción de lenguas de signos. Algunos usaron cámaras y visión artificial, pero eso solo funcionaba en condiciones controladas y fallaba a menudo cuando cambiaba la iluminación. Otros desarrollaron guantes inteligentes con sensores. Sin embargo, los guantes acumulaban calor y humedad, lo que resultaba incómodo, y no tenían en cuenta las diferencias individuales en el tamaño de la mano y la longitud de los dedos. La mayoría de los sensores requerían conexión por cable a un ordenador, lo que limitaba el movimiento de las manos. Incluso las versiones inalámbricas solían conectarse por cable a un único transmisor central.

Siete anillos en lugar de guantes

Un equipo dirigido por Ki Jun Yu desarrolló un enfoque nuevo: un conjunto de anillos electrónicos, cada uno de los cuales transmite datos de movimiento por Bluetooth Low Energy. Usar anillos en lugar de guantes permitió colocar los sensores con flexibilidad y tener en cuenta las diferencias anatómicas naturales entre personas. La conexión inalámbrica dio a las manos plena libertad.

El análisis reveló que siete dedos desempeñan el papel principal en la lengua de signos, de modo que se utilizaron exactamente siete anillos. Cada uno incorpora un acelerómetro que registra tanto las posturas estáticas como los movimientos. Es fundamental, porque las lenguas de signos combinan posiciones estáticas con transiciones dinámicas entre ellas.

Durante el desarrollo, el sistema se topó con un problema de fiabilidad. Los contactos rectos de cobre se rompían con las flexiones frecuentes. La solución fue pasar a contactos con patrón serpenteante, que resisten miles de ciclos.

La IA reconoce los gestos

Los investigadores desarrollaron un sistema de aprendizaje profundo que reconoce gestos con una versatilidad notable. El sistema aprendió a funcionar no solo con las dos personas del conjunto de entrenamiento, sino también con cinco personas totalmente nuevas, sin reajustarlo para cada una.

En los experimentos, el sistema reconoció 100 palabras de la lengua de signos estadounidense y 100 palabras de la lengua de signos internacional, con una precisión del 88,3% y el 88,5%, respectivamente. Es un salto enorme: los intentos anteriores se limitaban a menos de 50 palabras de vocabulario.

También impresiona que el sistema tradujera no solo palabras sueltas, sino frases enteras en la traducción continua de signos. Es justo lo que hace falta para una conversación natural en tiempo real.

Qué significa

El objetivo a largo plazo es integrar el sistema en los teléfonos inteligentes sin hardware especial. Los anillos enviarían señales al dispositivo móvil, donde se traducirían automáticamente en tiempo real. Eso haría la tecnología accesible para la comunicación cotidiana.

Próximos pasos: ampliar el sistema a más personas, añadir más palabras al vocabulario y dar soporte a la lengua de signos coreana y a otras variantes regionales. Los científicos también planean aumentar la autonomía de las actuales 12 horas a un día entero.

Una salvedad importante: el sistema actual traduce solo los movimientos de las manos. El siguiente gran desafío es añadir la mímica facial, el movimiento de los labios y las construcciones espaciales, que son gramaticalmente importantes en las lenguas de signos.