Anéis eletrônicos traduzem língua de sinais em texto com AI

Anéis eletrônicos equipados com sensores de movimento e inteligência artificial podem traduzir línguas de sinais para texto — cientistas da Universidade de Yonsei demonstraram isso pela primeira vez.

Por que as Tentativas Anteriores Falharam

Por muitos anos, pesquisadores tentaram criar um sistema prático de tradução de linguagem de sinais. Alguns usaram câmeras e visão computacional, mas isso funcionava apenas em condições controladas e frequentemente falhava quando a iluminação mudava. Outros desenvolveram luvas inteligentes com sensores. No entanto, elas acumulavam calor e umidade, causando desconforto, e não levavam em conta as diferenças individuais no tamanho da mão e comprimento dos dedos. A maioria dos sensores exigia conexão com fio aos computadores, restringindo o movimento das mãos. Até mesmo versões sem fio normalmente se conectavam por fio a um único transmissor central.

Sete Anéis em vez de Luvas

Cientistas liderados por Ki Jun Yu desenvolveram uma nova abordagem: um conjunto de anéis eletrônicos, cada um transmitindo informações de movimento via Bluetooth Low Energy. Usar anéis em vez de luvas permitiu colocação flexível de sensores e consideração das diferenças anatômicas naturais entre as pessoas. A comunicação sem fio deu às mãos liberdade total.

A análise revelou que sete dedos desempenham o papel principal na linguagem de sinais. Portanto, eles usaram exatamente sete anéis. Cada um é equipado com um acelerômetro que rastreia tanto poses estáticas quanto movimentos.

Isso é crítico porque as línguas de sinais combinam posições estáticas e transições dinâmicas entre elas. Durante o desenvolvimento, o sistema enfrentou um problema de confiabilidade. Os contatos de cobre diretos quebravam com flexão frequente.

Solução: mudar para contatos com padrão sinuoso que resistem a milhares de ciclos.

IA Reconhece Gestos

Pesquisadores desenvolveram um sistema de aprendizado profundo que reconhece gestos com universalidade impressionante. O sistema aprendeu a trabalhar não apenas com duas pessoas da amostra de treinamento, mas também com cinco pessoas completamente novas — sem ajuste para cada uma. Em experimentos, o sistema reconheceu 100 palavras da Linguagem Americana de Sinais e 100 palavras da Linguagem de Sinais Internacional com precisão de 88,3% e 88,5%, respectivamente. Este é um salto gigantesco: tentativas anteriores se limitavam a menos de 50 palavras no vocabulário. Também é impressionante que o sistema traduzisse não apenas palavras individuais, mas frases inteiras em tradução contínua de gestos. Isso é exatamente o que é necessário para conversa natural em tempo real.

O que Isso Significa

O objetivo de longo prazo é integrar o sistema em smartphones sem equipamento especializado. Os anéis transmitiriam sinais para um dispositivo móvel, onde seriam traduzidos automaticamente em tempo real. Isso tornará a tecnologia acessível para comunicação cotidiana. Os próximos passos: expandir o sistema para trabalhar com mais pessoas, adicionar mais palavras ao vocabulário, suportar a Linguagem de Sinais Coreana e outras variantes regionais. Cientistas também planejam aumentar a vida útil da bateria das atuais 12 horas para um dia inteiro. Um ponto importante: o sistema atual traduz apenas movimentos das mãos. O próximo grande desafio é adicionar expressões faciais, movimentos de lábios e construções espaciais que são grammaticamente importantes nas línguas de sinais.