Anéis eletrônicos traduzem língua de sinais em texto com inteligência artificial

Anéis eletrônicos com sensores de movimento e inteligência artificial podem traduzir línguas de sinais em texto. Cientistas da Universidade Yonsei foram os primeiros a demonstrar isso.

Por que as tentativas anteriores não deram certo

Por muitos anos, pesquisadores tentaram criar um sistema prático de tradução de línguas de sinais. Alguns usaram câmeras e visão computacional, mas isso só funcionava em condições controladas e errava com frequência quando a iluminação mudava. Outros desenvolveram luvas inteligentes com sensores. No entanto, as luvas acumulavam calor e umidade, causando desconforto, e não levavam em conta as diferenças individuais no tamanho das mãos e no comprimento dos dedos. A maioria dos sensores exigia conexão por cabo a computadores, limitando o movimento das mãos. Mesmo as versões sem fio costumavam se ligar por cabo a um único transmissor central.

Sete anéis no lugar de luvas

Uma equipe liderada por Ki Jun Yu desenvolveu uma nova abordagem: um conjunto de anéis eletrônicos, cada um transmitindo dados de movimento por Bluetooth Low Energy. Usar anéis em vez de luvas permitiu posicionar os sensores com flexibilidade e levar em conta as diferenças anatômicas naturais entre as pessoas. A conexão sem fio deu liberdade total às mãos.

A análise mostrou que sete dedos têm o papel principal na língua de sinais, por isso foram usados exatamente sete anéis. Cada um tem um acelerômetro que acompanha tanto posturas estáticas quanto movimentos. Isso é fundamental, porque as línguas de sinais combinam posições estáticas e transições dinâmicas entre elas.

Durante o desenvolvimento, o sistema esbarrou em um problema de confiabilidade. Os contatos retos de cobre quebravam com dobras frequentes. A solução foi migrar para contatos com padrão serpentino, que suportam milhares de ciclos.

A IA reconhece os gestos

Os pesquisadores desenvolveram um sistema de aprendizado profundo que reconhece gestos com notável versatilidade. O sistema aprendeu a funcionar não só com as duas pessoas do conjunto de treinamento, mas também com cinco pessoas totalmente novas, sem reajuste para cada uma.

Nos experimentos, o sistema reconheceu 100 palavras da língua de sinais americana e 100 palavras da língua de sinais internacional, com precisão de 88,3% e 88,5%, respectivamente. É um salto enorme: as tentativas anteriores se limitavam a menos de 50 palavras de vocabulário.

Também impressiona que o sistema tenha traduzido não só palavras isoladas, mas frases inteiras na tradução contínua de sinais. É exatamente o que se precisa para uma conversa natural em tempo real.

O que isso significa

O objetivo de longo prazo é integrar o sistema aos smartphones sem hardware especial. Os anéis enviariam sinais ao dispositivo móvel, onde seriam traduzidos automaticamente em tempo real. Isso tornaria a tecnologia acessível para a comunicação cotidiana.

Próximos passos: ampliar o sistema para mais pessoas, adicionar mais palavras ao vocabulário e dar suporte à língua de sinais coreana e a outras variantes regionais. Os cientistas também planejam aumentar a autonomia das atuais 12 horas para um dia inteiro.

Uma ressalva importante: o sistema atual traduz apenas os movimentos das mãos. O próximo grande desafio é incluir expressões faciais, movimentos dos lábios e construções espaciais, que são gramaticalmente importantes nas línguas de sinais.